قوانين التوسُّع في النماذج اللغوية العصبية

حين تدرّب نموذجاً لغوياً، هناك ثلاثة موارد تتحكّم في جودة أدائه:

حجم النموذج (N) — عدد المُعامِلات القابلة للتعلُّم (الأوزان) في الشبكة، باستثناء التضمينات. نموذج بمئة مليون مُعامِل يمثّل شبكة صغيرة، بينما نموذج بـ175 مليار مُعامِل يمثّل شبكة أضخم بمراحل.

حجم البيانات (D) — عدد الرموز التي يراها النموذج أثناء التدريب. كلّما زادت الرموز، زادت الأنماط التي يتعلّم منها.

الحوسبة (C) — إجمالي عمليات الفاصلة العائمة المُنفَقة على التدريب، وتقريبياً $C \approx 6NBS$ حيث $B$ حجم الدُّفعة و$S$ عدد خطوات التدريب.

الاكتشاف الجوهري هو أن هذه المتغيرات الثلاثة هي كل ما يهم. تفاصيل البنية كالعمق مقابل العرض، أو عدد رؤوس الانتباه، أو بُعد الشبكة الأمامية — كلها بالكاد تؤثّر ما دام العدد الإجمالي للمُعامِلات ثابتاً.

الاكتشاف المركزي في هذه الورقة بسيط: إذا رسمتَ الخسارة مقابل أيّ من المتغيرات الثلاثة على مقياس لوغاريتمي، تحصل على خط مستقيم. والخط المستقيم على رسم لوغاريتمي معناه قانون أُسِّي — أي علاقة من الشكل $L \propto X^{-\alpha}$، حيث $\alpha$ يمثّل الميل.

الفكرة ببساطة: كلّما ضاعفتَ عدد المُعامِلات عشر مرات، تنخفض الخسارة بنسبة ثابتة — ليس بمقدار ثابت، بل بـكسر ثابت. هذا النمط يتكرّر سواء انتقلتَ من ألف مُعامِل إلى عشرة آلاف، أو من مئة مليون إلى مليار — التحسُّن النسبي واحد في كل مرة.

لماذا هذا مهم عملياً؟ لأن القوانين الأُسِّية قابلة للاستقراء. يكفي أن تقيس الاتجاه على نماذج صغيرة لتتنبّأ بأداء نماذج كبيرة بثقة عالية. تدريب نموذج صغير رخيص، لكن القدرة على التنبؤ بأداء نموذج كبير قبل بنائه — تلك لا تُقدَّر بثمن.

تصوغ الورقة ثلاثة قوانين أُسِّية أساسية. كل قانون يصف ما يحدث حين يكون أحد المتغيرات هو العائق الرئيسي بينما المتغيران الآخران متوفران بوفرة. قبل الصِّيَغ، تخيّل ثلاثة أنابيب تصبّ في خزّان: أحدها لعدد المُعامِلات، والثاني للبيانات، والثالث للحوسبة. مستوى الماء (الأداء) يتحدّد بأضيق أنبوب. القانون الأُسِّي يخبرك بالضبط: كم سيرتفع الماء حين توسّع ذلك الأنبوب؟

من أكثر النتائج المفاجئة في الورقة: إذا ثبّتّ العدد الإجمالي لـالمُعامِلات، فإن شكل النموذج بالكاد يؤثّر على الأداء. يمكن أن تتفاوت نسبة العمق إلى العرض بمعامل 40 — من نموذج عميق جداً وضيّق إلى نموذج عريض وضحل — ولا تتغيّر الخسارة إلا بنحو 3%.

كان هذا ادعاءً جريئاً. قبل هذه الورقة، كان البحث عن البنية المثلى (البحث المعماري العصبي) محوراً بحثياً كبيراً. الورقة اقترحت أن كل ذلك الجهد كان يُحسِّن الشيء الخاطئ: بدلاً من البحث عن الشكل المثالي، الأَوْلى ببساطة أن تجعل النموذج أكبر.

الاستثناء الوحيد: حين تستبعد مُعامِلات التضمين من العدّ N، تظهر الاتجاهات بشكل أنظف بكثير. هذا يوحي بأن التضمينات تمثّل سعة «مجانية» تقريباً لا تسهم في السلوك الأُسِّي الجوهري.

ماذا يحدث حين تكبّر النموذج لكن تُبقي حجم البيانات ثابتاً؟ في مرحلة ما يبدأ النموذج بحفظ البيانات بدلاً من تعلُّم الأنماط — وهذا هو فرط الملائمة.

اكتشفت الورقة علاقة أنيقة: درجة فرط الملائمة تعتمد على نسبة واحدة فقط هي $N^{0.74}/D$. معنى ذلك عملياً أنه كلّما كبّرت النموذج 8 أضعاف، تحتاج فقط نحو 5 أضعاف من البيانات للحفاظ على الأداء. أي أن متطلبات البيانات تنمو بوتيرة أبطأ من نموّ النموذج.

وهذا خبر ممتاز لمن يريد التوسُّع: لا تحتاج إلى مضاعفة بياناتك بالتناسب كلّما بنيت نموذجاً أكبر. النماذج الأكبر أكفأ في استغلال كل رمز — تستخلص معرفة أكثر من البيانات ذاتها.

هذه النتيجة هي الأهم من الناحية العملية. السؤال: إذا كانت لديك ميزانية حوسبة ثابتة $C$، كيف توزّعها بين نموذج أكبر ووقت تدريب أطول؟

الإجابة واضحة: الحصة الأكبر يجب أن تذهب لتكبير النموذج. حين تزيد الحوسبة ألف ضعف، ينمو الحجم الأمثل للنموذج نحو 500 ضعف (أُسّ 0.73)، بينما خطوات التدريب بالكاد تتغيّر (أُسّ 0.03). والبيانات تنمو ببطء أيضاً — نحو 7 أضعاف فقط (أُسّ 0.27).

عملياً، هذا يعني أن الاستغلال الأمثل للحوسبة يقتضي تدريب نماذج ضخمة لفترة قصيرة، مع إيقاف التدريب قبل التقارب بمسافة واضحة. وهذا يُعاكس الحدس: أغلب الباحثين في 2020 كانوا يدرّبون نماذج أصغر حتى التقارب الكامل. الورقة قالت إن هذا الأسلوب يُهدر الحوسبة.

نتيجة لافتة تتكرّر في التجارب: النماذج الأكبر أكفأ بكثير في استغلال البيانات. نموذج بمليار مُعامِل يصل إلى مستوى الخسارة ذاته الذي يحقّقه نموذج بعشرة ملايين مُعامِل، لكن مع بيانات أقل بنحو مئة ضعف.

وهذا يخلق حلقة إيجابية: النماذج الأكبر لا تتقارب فحسب إلى خسارة أقل، بل تصل إليها أسرع من حيث كمّية البيانات المطلوبة. لذلك فالاستراتيجية المثلى ليست «اجمع أكبر كمية بيانات ممكنة ودرّب عليها نموذجاً كبيراً»، بل «ابنِ أكبر نموذج تستطيع تحمّل تكلفته ودرّبه على كمّية معتدلة من البيانات».

منحنيات التعلُّم نفسها تتبع قانوناً أُسِّياً: $L(N, S) = (N_c/N)^{\alpha_N} + (S_c/S)^{\alpha_S}$ حيث $S$ عدد خطوات التدريب. هذا يعني أنك تستطيع التنبؤ بالخسارة النهائية من أول بضعة بالمئة من التدريب — أداة قيّمة جداً حين تريد أن تقرّر: هل تستمر في عملية تدريب مكلفة أم توقفها؟

هناك حجم دُفعة أمثل أثناء التدريب، وهو أيضاً يتبع قانوناً أُسِّياً — لكن المفاجئ أنه يعتمد فقط على قيمة الخسارة الحالية، لا على حجم النموذج. حجم الدُّفعة الحرج يتضاعف تقريباً مع كل انخفاض بنسبة 13% في الخسارة، وفق العلاقة $B_{crit} \approx B^*/L^{1/\alpha_B}$ حيث $\alpha_B \approx 0.21$.

التدريب بدُفعات أصغر من الحجم الحرج يُهدر الوقت لأنك تحتاج خطوات تسلسلية كثيرة. والتدريب بدُفعات أكبر منه يُهدر الحوسبة لأن كل خطوة تعطي عائداً متناقصاً. النقطة المثلى هي التدريب عند الحجم الحرج تماماً.

عند النماذج الكبيرة القريبة من التقارب، يبلغ حجم الدُّفعة الحرج نحو مليون إلى مليونَي رمز — وهو ما يتوافق مع إعدادات التدريب بالدُّفعات الكبيرة التي صارت ممارسة شائعة في الأعمال اللاحقة.

تتضمّن الورقة مقارنة مهمة بين المُحوِّلات وLSTM. كلتا البنيتَين تتبعان قانوناً أُسِّياً مع عدد المُعامِلات، لكن المُحوِّلات تتفوّق على LSTM بفارق يزداد اتساعاً كلّما كبر النموذج.

السبب يكمن في استغلال السياق. شبكات LSTM تصل إلى سقف أداء بعد نحو 100 رمز من السياق — أي سياق إضافي بعد ذلك لا يُفيدها. أما المُحوِّلات فتستمر في التحسُّن عبر نافذة السياق الكاملة البالغة 1024 رمزاً. كل كلمة إضافية تجعل تنبؤات المُحوِّل أدقّ بشكل ملموس.

هذه النتيجة قدّمت دليلاً كمّياً على ما طرحته ورقة المُحوِّل الأصلية نظرياً: الروابط المباشرة بين الكلمات عبر الانتباه الذاتي ليست مجرّد تصميم أنيق — بل هي الآلية التي تجعل التوسُّع ممكناً.

لاحظ المؤلفون تناقضاً جوهرياً في معادلاتهم. الاستغلال الأمثل للحوسبة ينمّي البيانات ببطء شديد — $D \propto C^{0.27}$. لكن تجنُّب فرط الملائمة يتطلّب نموّاً أسرع: $D \propto N^{0.74} \propto C^{0.54}$. هذان المساران يتقاطعان حتماً: عند نقطة معيّنة، لن يكون لدى التدريب الأمثل حوسبياً بيانات كافية لتفادي فرط الملائمة — حتى لو لم تُعِد استخدام رمز واحد.

قدّر المؤلفون أن هذا التقاطع يحدث عند نحو $10^{12}$ مُعامِل و$10^{12}$ رمز، بخسارة تقارب 1.7 نات لكل رمز. ورجّحوا أن هذه القيمة قد تمثّل الإنتروبيا المتأصّلة في اللغة الطبيعية — أرضية لا يستطيع أيّ نموذج تجاوزها مهما كبُر.

هذا التنبؤ أثبت بُعد نظر لافتاً. النماذج الحدودية الحديثة اقتربت فعلاً من مقياس التريليون مُعامِل وتريليون رمز، والبحث عن بيانات جديدة صار من أشدّ التحدّيات إلحاحاً في المجال.

حين اختبر المؤلفون نماذجهم المدرَّبة على WebText2 على توزيعات نصّية مختلفة تماماً — ويكيبيديا، والكتب، وCommon Crawl — وجدوا نمطاً مُتّسقاً: الخسارة على التوزيعات الأخرى تتبع القانون الأُسِّي ذاته مع حجم النموذج، لكنها مُزاحة بمقدار ثابت فقط.

معنى ذلك أن أيّ تحسُّن على بيانات التدريب ينعكس مباشرةً على توزيعات أخرى. النموذج لا يحفظ أنماط WebText2 فحسب — بل يكتسب فهماً لغوياً عاماً قابلاً للنقل. والأهم أن فجوة التعميم لا تعتمد على مدّة التدريب ولا على عمق النموذج — بل تعتمد فقط على مستوى الخسارة الذي حقّقه النموذج على بيانات التحقّق.

ما فعله Kaplan وفريقه لم يقتصر على اكتشاف قوانين أُسِّية — بل أسّسوا علماً تنبؤياً لتوسُّع الذكاء الاصطناعي. قبل هذه الورقة، كان تدريب نموذج حدودي ضرباً من الإيمان. بعدها، صار بإمكان الفِرَق كتابة المعادلات وإدخال ميزانيتهم الحوسبية والتنبؤ بالأداء ضمن هامش بضعة بالمئة. الأرقام الدقيقة نُقِّحت لاحقاً — صحّحت ورقة Chinchilla التوازن بين البيانات وحجم النموذج — لكن المنهج العام «لائم القوانين الأُسِّية على تجارب صغيرة ثم استقرئ إلى النماذج الكبيرة» صار ممارسة أساسية في كل مختبر ذكاء اصطناعي.