توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher

Gopher ليس نموذجاً واحداً، بل عائلة من ستة نماذج بأحجام تمتد عبر أربع مراتب من المقدار: 44 مليون، و117 مليون، و417 مليون، و1.4 مليار، و7.1 مليار، و280 مليار معامل. كل هذه النماذج مبنية على بنية المُحوِّل بنمط المُفكِّك فقط — أي النمط نفسه الذي يستخدمه GPT — مع تعديلين مهمّين.

التعديل الأول: استبدال تسوية الطبقة التقليدية (LayerNorm) بتسوية RMSNorm. الفكرة بسيطة: بدل أن تحسب المتوسط ثم تطرحه ثم تُقسم على الانحراف، تكتفي بالقسمة على الجذر التربيعي لمتوسط المربعات. عملية أخفّ وأبسط، لكنها تُعطي استقراراً أفضل أثناء تدريب النماذج الكبيرة. تخيّل الأمر كأنك تستبدل آلة غسيل معقّدة بخرطوم ماء يؤدي المهمة ذاتها — أجزاء أقل تعني أعطالاً أقل.

التعديل الثاني: استبدال الترميز الموضعي المطلق بـالترميز الموضعي النسبي المأخوذ من Transformer-XL. في الترميز المطلق، كل رمز يحمل رقم موضع ثابتاً. أما في الترميز النسبي، فالنموذج يتعلّم المسافة بين الرموز بدل مواقعها المطلقة. الفائدة العملية واضحة: يستطيع النموذج التعامل مع تسلسلات أطول مما رآه أثناء التدريب — كأنه تعلّم القراءة على فقرات قصيرة ثم نجح في قراءة فصول كاملة.

جميع النماذج الستة دُرِّبت على 300 مليار رمز من مجموعة MassiveText، بـنافذة سياق طولها 2048 رمزاً وترميز SentencePiece بقاموس من 32,000 رمز. ما تغيّر بين الأحجام هو فقط عدد الطبقات وبُعد النموذج وعدد رؤوس الانتباه ومعدَّل التعلُّم وحجم الدُّفعة. كل شيء آخر ثُبِّت تماماً حتى يتمكّن الباحثون من عزل أثر الحجم وحده.

في مجال النماذج اللغوية الكبيرة، جودة البيانات لا تقلّ أهمية عن حجم النموذج — وأحياناً تتفوّق عليه. لهذا بنى الفريق مجموعة MassiveText: مجموعة ضخمة بحجم 10.5 تيرابايت من النصوص الإنجليزية المُنقَّحة، مُستخلصة من ستة مصادر: صفحات ويب مُنتقاة (MassiveWeb)، وكتب، ومقالات إخبارية، وC4 (المشتقة من Common Crawl)، وشفرة من GitHub، وويكيبيديا. المحصّلة: 2.35 مليار وثيقة بما يُقارب 2.3 تريليون رمز.

النقطة المفصلية هنا أن النماذج لم تتدرّب إلا على 300 مليار رمز — أي نحو 12.8% فقط من المجموعة. بمعنى آخر، لم يرَ Gopher الجزء الأكبر من بياناته ولو مرة واحدة. كذلك لم يكن السحب من المصادر متساوياً: صفحات الويب أخذت 48% من حصة التدريب، والكتب 27%، والأخبار 10%، وC4 كذلك 10%، وGitHub نحو 3%، وويكيبيديا 2%. هذا التوزيع المتعمَّد يعكس قناعة الفريق بأن المصادر عالية الجودة — كالكتب والصفحات المُنتقاة — تُعطي عائداً أكبر بكثير على قدرات النموذج مقارنةً بحجمها.

مرّت البيانات بخمس مراحل تنقية متتابعة: ترشيح المحتوى أولاً، ثم تقييم جودة النص بمصنِّف آلي، ثم إزالة النصوص المكرّرة داخلياً، ثم حذف الوثائق شبه المتطابقة عبر إزالة التكرار، وأخيراً تصفية أي وثيقة تتداخل مع مجموعات الاختبار لتجنّب التلوث. كل مرحلة من هذه المراحل حسّنت الأداء النهائي بشكل قابل للقياس، وهذا يُؤكّد أن تنقية البيانات ليست ترفاً — بل هي عمل هندسي من الطراز الأول.

تدريب نموذج بـ 280 مليار معامل ليس تحدّياً بحثياً فحسب، بل هو مشروع هندسي ضخم. اعتمد الفريق على وحدات TPUv3 مُوزَّعة، وجمع بين توازي البيانات وتوازي النموذج. المفاجأة أن هذا المزيج لم يُكلّف سوى نحو 10% تراجعاً في السرعة بفضل سرعة الاتصال بين شرائح TPU، وهو ما أغنى عن الحاجة إلى التوازي الأنبوبي وبسّط بنية التدريب كثيراً.

على مستوى التحسين، استُخدم مُحسِّن Adam مع تدريب بدقّة مختلطة (bfloat16). النماذج الأصغر من 7.1 مليار احتفظت بمعاملاتها بصيغة float32 واستخدمت bfloat16 للتنشيطات فقط، أما نموذجا 7.1 مليار و280 مليار فاستخدما bfloat16 لكل شيء مع تقريب عشوائي (stochastic rounding) لتعزيز الاستقرار. لكن الفريق اعترف لاحقاً بأن التقريب العشوائي لم يسترجع الأداء الكامل — وهذا يُبيّن أن التدريب على هذا النطاق ينطوي على مقايضات لم تُحسم بعد.

أثناء التدريب، رُفع حجم الدُّفعة تدريجياً من 3 ملايين إلى 6 ملايين رمز، مع معدَّل تعلُّم يبلغ $4 \times 10^{-5}$ وجدولة تخفيض جيبي. النمط العام: كلما كبر النموذج، انخفض معدل التعلّم وزاد حجم الدُّفعة — وهي ممارسة صارت اليوم شبه قياسية في تدريب النماذج الكبيرة.

هنا تكمن المساهمة الجوهرية للورقة. اختُبر Gopher على 152 مهمة تغطي النمذجة اللغوية وفهم المقروء والتحقق من الحقائق والإجابة عن الأسئلة والاستدلال بنوعَيه العام والرياضي وتمييز المحتوى الضارّ وغيرها. حين قورن بـ GPT-3 (175 مليار) وJurassic-1 (178 مليار) وMegatron-Turing NLG (530 مليار)، تصدّر Gopher الأداء في 100 من أصل 124 مهمة قابلة للمقارنة.

لكن المكاسب لم تكن موحّدة عبر المهام. الورقة تكشف نمطاً واضحاً:

التكبير يُفيد كثيراً في المهام التي تعتمد على المعرفة المخزّنة: فهم المقروء (RACE)، والتحقق من الحقائق (FEVER)، والمعرفة العامة (معيار MMLU)، وكشف اللغة السامّة. السبب واضح: النموذج الأكبر يستطيع ببساطة حفظ حقائق أكثر واسترجاعها. في MMLU تحديداً، حقّق Gopher دقة متوسطة بلغت 60.0% عبر 57 مادة — قفزة كبيرة عمّا حقّقته النماذج السابقة.

التكبير يُفيد قليلاً في الاستدلال الرياضي (GSM وMATH) والاستدلال المنطقي. القفز من 7.1 مليار معامل إلى 280 ملياراً بالكاد أثّر في هذه المهام. الرسالة واضحة: الاستدلال ليس مسألة حفظ أنماط أكثر، بل يحتاج شيئاً مختلفاً جذرياً — سواء على مستوى البنية أو الخوارزمية.

هذا التفاوت صار ركيزة فكرية للحقل بأكمله. الخلاصة العملية: إن أردت رياضيات أفضل، فلا تكتفِ بتكبير النموذج.

معيار MMLU يختبر النموذج اللغوي في 57 مادة أكاديمية تمتد من الجبر المجرد إلى الأديان المقارنة — أشبه بامتحان جامعي شامل يغطي كل التخصصات. دقة Gopher المتوسطة البالغة 60.0% كانت قفزة كبيرة مقارنةً بالنماذج السابقة، واقتربت بشكل ملموس من مستوى الخبير البشري.

لكن الأرقام الإجمالية تُخفي تفاوتاً مهمّاً. أداء Gopher كان ممتازاً في العلوم الإنسانية والاجتماعية — وهي مواد تقوم على الحفظ والاسترجاع — لكنه كان أضعف بكثير في مواد STEM التي تتطلب تفكيراً رمزياً متعدد الخطوات. مثلاً: نتائج قوية في الوراثة الطبية والتسويق، لكن تراجع واضح في الجبر المجرد والمنطق الصوري.

هذا التفصيل صار من أكثر النتائج التي يُستشهد بها من الورقة، لأنه يُقدّم تشخيصاً دقيقاً: النماذج اللغوية الكبيرة تتطوّر إلى موسوعات لا إلى آلات حاسبة. تتعلّم ماذا تعرف، لكنها لا تتعلّم بالضرورة كيف تُفكّر.

خصّصت الورقة قسماً مُعمَّقاً لتحليل السُّمية والتحيّز — وهو من أشمل التحليلات التي أُجريت في ذلك الوقت. النتائج دقيقة، وبعضها غير متوقّع.

فيما يخصّ السُّمية: حين يتلقّى النموذج مُدخلات نظيفة، تقلّ سُمّية مخرجاته كلما كبر حجمه — لأنه أقدر على الالتزام بسياق الموضوع. لكن حين يتلقّى مُدخلات سامّة (من مجموعة RealToxicityPrompts مثلاً)، يُنتج النموذج الأكبر نصوصاً أشدّ سُمّيةً. السبب بسيط: النموذج الأكبر أمهر في إكمال أسلوب النص الذي يتلقّاه — سواء كان جيداً أو سيئاً.

أما التحيّز فالصورة مختلفة. قاس الباحثون التحيّز بين الجنسين والمهن باستخدام قوالب مرجعية مُعدّة لهذا الغرض. والنتيجة: لا يوجد اتجاه ثابت بين حجم النموذج ومقاييس التحيّز. بعض المقاييس زادت مع التكبير، وبعضها انخفض، وبعضها تذبذب. هذه نتيجة محورية لأنها تعني أن التحيّز لا يُعالَج بمجرد تكبير النموذج — بل يحتاج تقنيات مخصّصة لإزالته.

ولا بدّ من الإشارة إلى أن بيانات تدريب Gopher إنجليزية بنسبة تتجاوز 99%، مما يحدّ من فائدته كنموذج متعدد اللغات، ويُدخل حتماً تحيّزات ثقافية مرتبطة بالمحتوى الإنجليزي على الإنترنت.

لم تكتفِ الورقة بتقييم المهام التقليدية، بل جرّبت أيضاً استخدام Gopher في الحوار — بطريقتين: التوجيه والضبط الدقيق. في التوجيه، يكفي أن تُعطي النموذج وصفاً لمساعد مهذّب ومتعاون متبوعاً بأمثلة حوارية، فيبدأ بإجراء محادثات متعدّدة الأدوار بشكل مقبول.

حين أُضيف الضبط الدقيق على بيانات حوارية مُنتقاة، تحسّنت جودة المحادثة أكثر: ارتفعت الدقة الواقعية وفضّل المُقيِّمون البشريون مخرجات النموذج المضبوط في المقارنات الثنائية. ومن الملاحظات اللافتة أن التوجيه الحواري قلّل السُّمية أيضاً — إذ تبنّى النموذج نبرة المساعد المهذّب الذي طُلب منه تقليده.

هذه التجارب سبقت بعام كامل موجة ChatGPT وروبوتات المحادثة. الفكرة بأن التوجيه وحده — دون أي ضبط دقيق — يستطيع تحويل نموذج لغوي إلى محاوِر مقبول كانت خطوة تأسيسية نحو النماذج المُوجَّهة بالتعليمات والمحاذاة عبر التعلّم المعزَّز من ملاحظات بشرية.

قبل الدخول في الصياغة الرياضية، لنبدأ بالفكرة. تخيّل أن النموذج اللغوي شخص يُكمل جملاً ناقصة. إذا أعطيته «عاصمة فرنسا هي...»، ينبغي أن يمنح كلمة «باريس» احتمالاً عالياً وكلمة «موز» احتمالاً قريباً من الصفر. هدف التدريب بأكمله هو أن يتحسّن النموذج في هذا التنبؤ — لكل موضع في كل وثيقة يراها.

رياضياً: لتسلسل من الرموز $x_1, x_2, \ldots, x_T$، يُدرَّب النموذج على تعظيم اللوغاريتم الاحتمالي:

الإرث الحقيقي لورقة Gopher ليس النموذج بذاته — فقد أثبت Chinchilla لاحقاً أنه كان ناقص التدريب — بل الإطار المنهجي الذي وضعته لفهم ما يحدث حين نُكبّر النماذج اللغوية. يمكن تكثيف اكتشافات الورقة في خمس رؤى أساسية:

1. أثر التكبير ليس موحّداً. المهام المختلفة تستجيب بشكل مختلف. المهام القائمة على المعرفة تستفيد كثيراً، بينما مهام الاستدلال تكاد لا تتغيّر. هذا يعني أن تخصيص ميزانية الحوسبة ينبغي أن يراعي طبيعة المهمة المستهدفة.

2. جودة البيانات مُضاعِف لا مُضاف. كل مرحلة من تنقية MassiveText حسّنت الأداء النهائي بشكل مستقل. البيانات الأنظف تجعل كل معامل إضافي أكثر قيمة.

3. السُّمية تتضخّم في الاتجاهين. النموذج الأكبر يُنتج مخرجات أنظف مع مُدخلات نظيفة، لكنه يُنتج مخرجات أشدّ سُمّيةً مع مُدخلات سامّة.

4. التحيّز لا يتبع اتجاهاً واضحاً مع الحجم. بعض مقاييسه يزيد وبعضها ينقص وبعضها يتذبذب — مما يعني أن معالجته تحتاج تدخّلات مُوجَّهة لا مجرد تكبير.

5. الحوار يظهر من التوجيه. يكفي مُحفِّز مُصمَّم بعناية لتحويل نموذج لغوي مُدرَّب مسبقاً إلى محاوِر مقبول — دون أي ضبط دقيق. هذا الاكتشاف سبق ثورة روبوتات المحادثة بعام كامل.

لعلّ أهم ما خلّفه Gopher ليس النموذج نفسه، بل ما مهّد الطريق إليه. جوردان هوفمان وزملاؤه في DeepMind — وكثيرون منهم عملوا على Gopher — أخذوا بيانات التوسيع نفسها وطرحوا سؤالاً جريئاً: هل كان إنفاق كل هذه ميزانية الحوسبة على نموذج بـ 280 مليار معامل هو الخيار الأمثل؟

الجواب كان: لا. أثبت Chinchilla أن نموذجاً بـ 70 مليار معامل فقط — أصغر بأربع مرات — لكنه مُدرَّب على 1.4 تريليون رمز (أي أربعة أضعاف بيانات Gopher)، يُضاهيه أو يتفوّق عليه في كل معيار تقريباً. المشكلة أن فريق Gopher ركّز على تكبير عدد المعاملات مع تثبيت حجم البيانات عند 300 مليار رمز. ما كشفه Chinchilla هو أن التوزيع الأمثل يقسم الموارد بشكل أكثر تكافؤاً بين حجم النموذج وحجم البيانات.

غيّر هذا الاكتشاف قواعد اللعبة. بدل شعار «الأكبر هو الأفضل»، تبنّى الحقل مبدأ الحوسبة المثلى. كل نموذج رئيسي صدر بعد Chinchilla — LLaMA وFalcon وMistral — صُمِّم وفق هذا التوازن.

بالنظر إلى الوراء، كان Gopher معلَماً بارزاً ودرساً في آن واحد. المعلَم هو منهجية التقييم وخريطة التوسيع. والدرس هو أن الحجم وحده لا يكفي — الأهم هو كيف تُوزّع مواردك بين عدد المعاملات وحجم البيانات.

يحتلّ Gopher مكانة محورية في مسيرة تطوّر النماذج اللغوية الكبيرة. لم يكن مجرد «نموذج أكبر بنتائج أفضل»، بل كان أول تشريح منهجي واسع النطاق يُبيّن أين يُفيد التكبير وأين يتوقّف أثره وأين يُضخّم المخاطر. منهجية التقييم التي وضعها — 152 مهمة عبر عشرات المجالات — صارت معياراً تبنّته الأوراق اللاحقة. والأهم أن بيانات التوسيع التي أنتجها أتاحت مباشرةً لـ Chinchilla أن يُعيد رسم خريطة الحقل بأكمله.