برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة

أيّ شبكة عصبية تحتاج قبل أن تبدأ التدريب إلى مجموعة من القرارات الحرجة: ما معدّل التعلّم المناسب؟ كيف نُهيّئ الأوزان ابتداءً؟ ما إعدادات المحسِّن مثل الزخم؟ هذه القرارات — أي المعاملات الفائقة — هي التي تحسم إن كان النموذج سيتقارب نحو أداء قوي أم سينحرف ويتوقف.

حين يكون النموذج صغيراً، يمكنك ببساطة تجريب مئات التوليفات عبر بحث شبكي أو بحث عشوائي. لكن حين تتعامل مع نموذج يضمّ مليارات المعاملات، فإن تشغيلة تدريب واحدة قد تكلّف مئة ألف دولار. تكرار ذلك 200 مرة أمر مستحيل عملياً.

الملاحظة التي رافقت الممارسين منذ سنوات هي أنّ المعاملات الفائقة المضبوطة على نموذج صغير تنجح أحياناً على نموذج أكبر — لكنها في أحيان أخرى تفشل فشلاً ذريعاً. السبب أنّه في المعاملَة القياسية (SP)، قد يتغيّر معدّل التعلّم الأمثل بمراتب من الحجم حين تُضاعف عرض الشبكة. لم تكن هناك نظرية تُفسّر متى ينجح النقل ومتى يفشل.

لنبدأ بفهم ما الذي يحدث خطأً في المعاملَة القياسية (SP) — وهي الإعداد الافتراضي في أُطر مثل PyTorch. في SP (بما فيها تهيئة Xavier وHe)، كل وزن في طبقة مخفية يُسحب من توزيع تباينه يتناسب مع $1/\text{fan\_in}$، ومعدّل التعلّم $\eta$ واحد لجميع المعاملات.

المشكلة أنّ هذا الإعداد يعمل فقط عند عرض ثابت. بمجرد أن تبدأ بزيادة البُعد المخفي $n$، تظهر المتاعب: التنشيطات تكبر مع العرض، والتدرّجات يتغيّر مقياسها، ومعدّل التعلّم الذي كان مثالياً عند عرض 256 يصبح كارثياً عند عرض 4096. والأسوأ من ذلك أنّ محاولة الحفاظ على استقرار الشبكة عند عرض أكبر تفرض عليك تصغير معدّل التعلّم، وهذا يدفع الشبكة إلى ما يُعرف بنظام التدريب الكسول (نظام NTK)، حيث تبقى السمات المخفية شبه مجمّدة عند قيمها الابتدائية. عملياً، الشبكة تتحوّل إلى آلة نواة ثابتة بدلاً من أن تتعلّم تمثيلات غنية.

الحل الذي تقدّمه μP هو وضع قواعد تدريج تعتمد على العرض. لطبقة بُعد دخلها $n$ مقارنةً بعرض أساسي $n_0$، التغييرات الجوهرية هي:

تهيئة الطبقات المخفية: التباين يتناسب مع $1/n$ (كما في SP).

معدّل تعلّم الطبقات المخفية: يتناسب مع $\eta_0 \cdot (n_0 / n)$. بمعنى آخر، القيمة العددية لمعدّل التعلّم تتقلّص مع العرض، لكنّ التأثير الفعلي — أي التحديث لكل إحداثية في التنشيطات — يبقى بحجم ثابت $\Theta(1)$.

مُضاعِف طبقة المخرجات: قيم المخرجات (logits) تُضرب في $n_0 / n$، مما يمنعها من التضخّم مع زيادة العرض.

تدريج الانتباه (في المحوِّلات): درجة حرارة softmax تتناسب مع $1/d$ بدلاً من $1/\sqrt{d}$.

المحصلة أنّ كل تنشيط وكل تدرّج وكل تحديث للمعاملات يبقى بحجم إحداثي مستقل عن العرض. الشبكة تسلك السلوك الديناميكي نفسه عند عرض 64 وعند عرض 8192.

μP ليست وصفة اعتباطية، بل تنبثق من ثلاثة شروط رياضية دقيقة. تخيّلها كقيود هندسية: يجب أن تتحقّق جميعها معاً حتى نضمن انتقال المعاملات الفائقة بين الأحجام المختلفة.

القاعدة الأولى — تهيئة مستقرة: إحداثيات ما قبل التنشيط في كل طبقة يجب أن تكون بحجم $\Theta(1)$ عند التهيئة. عملياً، هذا يعني أنّك لو أخذتَ أيّ إحداثية من الحالة المخفية ونظرتَ إلى قيمتها، فإنّ حجمها النموذجي لا يتغيّر بتغيّر العرض $n$.

القاعدة الثانية — مخرجات مستقرة: مخرج الشبكة يجب أن يبقى بحجم $\Theta(1)$ طوال التدريب. لأنّ نموّ قيم المخرجات مع العرض يُشوّه سطح دالة الخسارة ويُزيح معدّل التعلّم الأمثل.

القاعدة الثالثة — تحديثات سمات قصوى: التغيّر في السمات المخفية $\Delta h$ عند كل خطوة تدريب يجب أن يكون بحجم $\Theta(1)$ أيضاً. وهنا يكمن معنى كلمة «أقصى»: التحديثات بأكبر حجم ممكن دون كسر الاستقرار. لو تقلّصت هذه التحديثات إلى الصفر — كما يحدث في نظام نواة المماس العصبي — لتوقّفت الشبكة عن تعلّم السمات تماماً.

الأساس الرياضي الذي تقوم عليه μP هو ما يُعرف بـالمعاملَة abc. الفكرة بسيطة: لكل مصفوفة أوزان $W$ في طبقة بُعد دخلها $n$، نحتاج ثلاثة أُسُس $(a, b, c)$ تتحكّم في كيفية تدريج تلك الطبقة مع العرض.

مخرج الطبقة يُضرب في $n^a$ (مُضاعِف المخرج). تباين التهيئة يساوي $n^{-2b}$ (يُحدّد المقياس الابتدائي). ومعدّل التعلّم يساوي $\eta \cdot n^{-c}$ (يتحكّم في سرعة تحديث الطبقة).

كل اختيار مختلف لـ $(a, b, c)$ يُعطيك معاملَة مختلفة. المعاملَة القياسية هي مجموعة قيم بعينها، ومعاملَة NTK مجموعة أخرى. أمّا μP فهي مجموعة $(a, b, c)$ الوحيدة التي تستوفي الشروط الثلاثة مجتمعة.

هذه ربّما أعمق فكرة مفاهيمية في الورقة. حين تُوسّع شبكة عصبية، يمكن أن تقع في أحد نظامين مختلفين جذرياً:

في نظام النواة (NTK / الكسول)، السمات المخفية $h^{(\ell)}$ تكاد لا تتغيّر عن قيمها العشوائية الابتدائية أثناء التدريب. الشبكة هنا تتصرّف كنموذج خطي حول نقطة التهيئة، وتنبؤاتها تحكمها نواة ثابتة. هذا جميل رياضياً، لكنه يعني عملياً أنّ التمثيلات الداخلية مجمّدة — فلا تتعلّم الشبكة شيئاً جديداً عن بنية البيانات.

في نظام تعلّم السمات، الأمر مختلف تماماً: السمات المخفية تتطوّر فعلاً أثناء التدريب. الشبكة تكتشف أنماطاً ذات معنى في البيانات وتبني تمثيلات داخلية أغنى مع كل خطوة. هذا هو جوهر قوة التعلّم العميق — وهو بالضبط ما تحافظ عليه μP.

النقطة الحاسمة هي أنّ اختيار المعاملَة هو ما يُحدّد أيّ النظامين ستقع فيه الشبكة. المعاملَة القياسية تدفع الشبكات العريضة نحو نظام النواة. μP هي المعاملَة الوحيدة التي تضمن بقاء الشبكة في نظام تعلّم السمات مهما كان العرض.

القيمة العملية للورقة تكمن في تحويل النظرية إلى وصفة من ثلاث خطوات واضحة تُسمّى μTransfer:

الخطوة 1 — أعِدّ النموذج بمعاملَة μP: جهِّز النموذج المستهدف (الكبير الذي تريد تدريبه فعلاً) وفق قواعد تدريج μP. عملياً، هذا يعني ضبط تباينات التهيئة ومعدّلات التعلّم لكل طبقة ومُضاعِفات المخرجات وفق أُسُس المعاملَة abc.

الخطوة 2 — اضبط على نموذج وسيط: ابنِ نسخة مصغّرة — نفس البنية ونفس العمق، لكن بعرض أقل بكثير (مثلاً 13 مليون معامل بدلاً من 350 مليوناً). أجرِ بحثاً واسعاً عن المعاملات الفائقة على هذا الوسيط. بفضل μP، القيم المثلى لـمعدّل التعلّم والزخم وغيرها من معاملات الأمثَلة تبقى هي نفسها عند أيّ عرض.

الخطوة 3 — انقل مباشرة: خذ أفضل المعاملات الفائقة من الوسيط وأدخلها كما هي في النموذج الكبير. درِّبه مرة واحدة — دون أي ضبط إضافي.

والنتائج التجريبية مبهرة: بحث عشوائي من 200 عيّنة على وسيط من 13 مليون معامل أعطى معاملات فائقة تفوّقت — حين نُقلت إلى BERT-large (350 مليوناً) — على النتائج المنشورة لـ BERT-large. التكلفة الإجمالية للضبط مع تشغيلة تدريب واحدة عادلت تدريباً مسبقاً واحداً لـ BERT-large فقط. وبالمثل، الضبط على وسيط من 40 مليوناً أنتج أداءً يتجاوز أرقام GPT-3 بحجم 6.7 مليار المنشورة، بتكلفة 7% فقط من التدريب المسبق.

السؤال العملي الأول: كيف تتأكّد أنّ تنفيذك لـ μP صحيح؟ الورقة تقدّم أداة تشخيص بسيطة وذكية تُسمّى اختبار الإحداثيات. الفكرة مباشرة: درِّب النموذج لبضع خطوات عند عروض مختلفة، ثم ارسم متوسّط حجم الإحداثيات للتنشيطات (أو قيم المخرجات) عبر خطوات التدريب. إن كان التنفيذ صحيحاً، ستتطابق المنحنيات لجميع العروض — لأنّ حجم الإحداثية مستقل عن العرض. أمّا إذا تباعدت المنحنيات، فهناك خطأ في التطبيق.

ما يميّز هذا الاختبار أنّه رخيص جداً ويكشف الأخطاء فوراً. وقد أصبح الأداة المعيارية للتحقّق من تطبيقات μP. مكتبة mup مفتوحة المصدر (تُثبَّت عبر pip install mup) تُؤتمت كلاً من المعاملَة واختبار الإحداثيات.

الورقة تتحقّق من μTransfer على بنيتين رئيسيتين:

BERT-large (350 مليون): المعاملات الفائقة المضبوطة على وسيط من 13 مليون معامل نُقلت إلى BERT-large. النتيجة: النموذج الناتج تفوّق على خط الأساس المنشور لـ BERT-large، والتكلفة الإجمالية (ضبط + تشغيلة تدريب واحدة) عادلت تدريباً مسبقاً واحداً لـ BERT-large فقط.

GPT-3 بحجم 6.7 مليار: المعاملات الفائقة من وسيط بـ 40 مليون معامل نُقلت مباشرة إلى نموذج 6.7 مليار. الأداء تجاوز أرقام GPT-3 المنشورة، بتكلفة ضبط لا تتعدّى 7% من تكلفة التدريب المسبق. وهذا أوّل إثبات عملي أنّ النقل يعمل عبر فجوة حجمية تبلغ 150 ضعفاً.

المؤلفون تحقّقوا أيضاً من نجاح μTransfer مع شبكات ResNet على تصنيف الصور، ما يُؤكّد أنّ المنهج لا يقتصر على المحوِّلات. والنقطة الجوهرية هنا أنّ المعاملات الفائقة المرتبطة بـالتنظيم (مثل اضمحلال الأوزان والإسقاط) لا تنتقل — فقط معاملات الأمثَلة (معدّل التعلّم والزخم والتهيئة) هي التي تنتقل.

μP وμTransfer غيّرتا اقتصاديات تدريب النماذج الكبيرة من جذورها. قبل هذا العمل، كان ضبط المعاملات الفائقة على نطاق المليارات أقرب إلى التخمين المكلف. بعده، أصبح بمقدور الفِرَق تخصيص ميزانية حوسبة محدودة لضبط نموذج وسيط صغير، ثم تطبيق تلك الإعدادات بثقة رياضية على النموذج الكبير.

Cerebras تبنّت μP في عائلة GPT الخاصة بها، وأثبتت أنّ بحثاً عشوائياً من 200 عيّنة على وسيط بـ 40 مليون معامل يكفي لتحديد معدّل التعلّم لنماذج تصل إلى 13 مليار معامل. مختبرات بحثية عديدة دمجت مكتبة mup في خطوط إنتاجها التدريبية. وعلى المستوى النظري، عمّق الإطار فهم المجتمع للعلاقة بين المعاملَة وتعلّم السمات وقوانين التوسيع — رابطاً الوصفات العملية برؤى نظرية عميقة من سلسلة برامج المُوتِّرات.