النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف

قبل GPT-2 كانت الوصفة المعتادة لأيّ مهمة في معالجة اللغة الطبيعية واحدة: اجمع بيانات مُعنونة، وأضِف رأسًا مخصّصًا للمهمة، ثم نفِّذ الضبط الدقيق. تريد ترجمة؟ ابنِ نموذج ترجمة. تريد تلخيصًا؟ ابنِ نموذج تلخيص. كلّ نموذج كان أداة ذات استعمال واحد: متميّز في مهمّته، عاجز عن أيّ شيء آخر.

هذا النهج يعاني من ثلاث مشكلات جوهرية:

• الحاجة الدائمة للبيانات المُعنونة. بناء مجموعات بيانات مُعنونة عملية مُكلفة. كلّ مهمة جديدة تحتاج آلاف الأمثلة المُعدّة يدويًا، وهذا يُشكّل عنق زجاجة حقيقيًا في التطبيقات العملية.
• الهشاشة. النماذج المُدرَّبة على توزيعات ضيّقة تنهار حين تتغيّر طبيعة البيانات. مثلًا: نموذج تحليل المشاعر المُدرَّب على مراجعات الأفلام يفشل حين تُعطيه مراجعات منتجات.
• غياب القدرات الناشئة. النموذج المتخصّص لا يُفاجئك أبدًا — لا يستطيع إلّا ما درَّبتَه عليه صراحةً. لا مسار من «جيّد في الأسئلة والأجوبة» إلى «يترجم أيضًا»، لأنّ هدف التدريب نفسه يمنع ذلك.

خطا GPT-1 الخطوة الأولى: درِّب نموذجًا لغويًا مسبقًا ثم اضبطه على بيانات مُعنونة صغيرة. لكن مرحلة الضبط الدقيق ظلّت إلزامية. السؤال الذي طرحه GPT-2 كان جذريًا: ماذا لو تخطّينا الضبط الدقيق بالكامل؟

الفكرة المحورية في GPT-2 تبدو بسيطة لكنّها عميقة الأثر: كلّ مهمة في معالجة اللغة الطبيعية هي في جوهرها تنبؤ بما يأتي بعد نصّ معيّن. الترجمة؟ حين يقرأ النموذج «ترجم من الإنجليزية إلى الفرنسية: جبن ←» فإنّ الكلمة المتوقّعة طبيعيًا هي «fromage». التلخيص؟ عبارة «TL;DR:» بعد فقرة طويلة تستدعي ملخّصًا قصيرًا. الأسئلة والأجوبة؟ «س: من كتب هاملت؟ ج:» تستدعي «شكسبير».

إذا صادف النموذج اللغوي ما يكفي من هذه الأنماط في بيانات تدريبه — أزواج أسئلة وأجوبة طبيعية، وترجمات، وملخّصات — فإنّه يتعلّم أداء المهمة بمجرّد أن يتعرّف على النمط في حثّ نصّي جديد. بلا بيانات مُعنونة، وبلا رأس مخصّص للمهمة، وبلا ضبط دقيق. كلّ ما في الأمر هو تنبؤ الرمز التالي على نطاق واسع.

صاغ المؤلّفون الفكرة رياضيًا كالتالي: بدلًا من بناء نموذج منفصل يتعلّم $p(\text{مخرج} | \text{مدخل})$ لكلّ مهمة، ابنِ نموذجًا واحدًا يتعلّم $p(\text{مخرج} | \text{مدخل}, \text{مهمة})$ — واكتب وصف المهمة كنصّ عادي. بهذا تصبح اللغة نفسها هي طريقة تحديد المهمة.

جودة النموذج اللغوي مرهونة بجودة بياناته. تدرَّب GPT-1 على مجموعة BookCorpus — نحو 7,000 كتاب غير منشور، أي قرابة غيغابايت واحد. المتن متنوّع في الأسلوب لكنّه محدود الموضوعات وصغير الحجم بمقاييس الويب.

جاء GPT-2 بمجموعة بيانات WebText: 40 غيغابايت من النصوص المجموعة من الروابط المنشورة على Reddit التي حصلت على 3 تصويتات إيجابية على الأقل — فلتر بسيط لكنّه فعّال للتأكّد من أنّ المحتوى ذو جودة بشرية. الفكرة واضحة: الصفحات التي يراها الناس مفيدة بما يكفي لمشاركتها والتصويت لها هي عادةً أفضل بكثير من صفحات ويب عشوائية.

احتوت المجموعة على 8 ملايين مستند. والأهمّ من حجمها هو تنوّعها: مقالات إخبارية، تدوينات، قصص، شفرات برمجية، نقاشات منتديات، أدلّة إرشادية، وكتابات أكاديمية. هذا التنوّع هو ما يُتيح لـلنموذج أن يصادف أمثلة طبيعية للترجمة والأسئلة والأجوبة والتلخيص في أثناء تدريبه، وهو الأساس الذي يجعل التعلّم بدون أمثلة ممكنًا.

استخدم GPT-1 مُجزّئ نصوص على مستوى الكلمة بـمفردات ثابتة من 40,000 كلمة. أيّ كلمة خارج هذه المفردات تتحوّل إلى رمز <UNK> — كأنّها ثقب أسود يبتلع المعنى. النصوص غير الإنجليزية، والكلمات النادرة، والشفرات البرمجية، والرموز التعبيرية — كلّها كانت معرّضة للضياع.

حلّ GPT-2 هذه المشكلة بتقنية ترميز أزواج البايت على مستوى البايت. الفكرة بسيطة: ابدأ بمفردات من 256 بايت خام — وهي اللَّبِنات الأساسية لـأيّ نصّ في أيّ لغة. ثمّ ادمج تكراريًا أكثر أزواج البايت المتجاورة شيوعًا لتكوين رموز جديدة. بعد عمليات دمج كافية تصبح الكلمات الشائعة رموزًا مفردة ("the" ← رمز واحد)، بينما تُجمَّع الكلمات النادرة من قطع أصغر ("pneumonoultramicroscopic" ← عدّة رموز فرعية).

النتيجة: مفردات من 50,257 رمزًا تستطيع ترميز أيّ سلسلة UTF-8 — إنجليزية وعربية وصينية ورموز تعبيرية وشفرات برمجية — بصفر رموز <UNK>. هذا أمر جوهري: لن يصادف النموذج أبدًا محرفًا لا يستطيع تمثيله.

لم يُقدّم GPT-2 بنية جديدة جذريًا — الابتكار الحقيقي في البيانات والحجم لا في الهيكل. يستخدم مفكّك الترميز ذاته من بنية المُحوِّل الموجود في GPT-1، مع أربعة تعديلات:

• التسوية المسبقة للطبقات. نُقلت تسوية الطبقات إلى ما قبل كلّ كتلة فرعية (الانتباه والشبكة الأمامية) بدلًا من بعدها. هذا يُثبّت التدريب عند الأحجام الكبيرة لأنّ كلّ كتلة تستقبل مُدخلات مُسوّاة — كطاهٍ يغسل مكوّناته قبل الطهي لا بعده.
• توسيع نافذة السياق. من 512 إلى 1,024 رمزًا — أي أنّ النموذج يرى الآن ضِعف ما كان يراه من النصّ السابق، وهذا ضروري لمهام مثل التلخيص التي تحتاج سياقًا بعيد المدى.
• تهيئة مُعدَّلة. تُقسَم أوزان طبقات الوصلات المتبقية على $1/\sqrt{N}$ عند التهيئة، حيث $N$ عدد هذه الطبقات. الهدف منع تراكم التباين مع مرور الإشارة عبر طبقات عديدة — تخيّل أنّك تُخفض الصوت قليلًا عند كلّ مرحلة حتى لا يتشوّه في النهاية.
• مفردات أكبر. 50,257 رمزًا (من ترميز أزواج البايت على مستوى البايت) بدلًا من 40,000.

درَّب الباحثون أربعة أحجام من النموذج لدراسة العلاقة بين الحجم والأداء:

أبرز ما في الورقة هو ما يحدث حين تُكبِّر حجم النموذج فحسب — بلا تغيير في هدف التدريب ولا إضافة أيّ بيانات مُعنونة. كلّ مهمة تتحسّن مع ازدياد الحجم، وبعض القدرات التي بالكاد كانت موجودة في النسخة الصغرى تُصبح تنافسيّة في النسخة الكبرى.

نمذجة اللغة: حقّق GPT-2 أفضل حيرة احتمالية على 7 من 8 معايير مرجعية — منها Penn Treebank (35.76) وWikiText-2 (18.34) وLAMBADA (8.63) — كلّها في وضع بدون أمثلة. واللافت أنّه لا يزال بعيدًا عن التشبّع على WebText، ما يعني أنّ نماذج أكبر ستتحسّن أكثر على الأرجح.

الفهم القرائي: على CoQA (أسئلة وأجوبة حوارية) سجّل GPT-2 نتيجة 55 F1 دون أن يرى مثالًا واحدًا — مُعادلًا أو متفوّقًا على عدّة نماذج مُشرَف عليها صُمّمت خصيصًا لهذه المهمة.

الترجمة: رغم أنّ الباحثين أزالوا عمدًا الصفحات غير الإنجليزية أثناء جمع البيانات، حقّق GPT-2 نتيجة 11.5 BLEU على WMT-14 فرنسي→إنجليزي، متفوّقًا على عدّة نماذج غير مُشرَف عليها. ما حدث أنّ النموذج عثر على الكمّية الضئيلة من النصوص الفرنسية المختلطة طبيعيًا بالصفحات الإنجليزية وتعلّم منها ترجمة أوّلية.

التلخيص: على CNN/Daily Mail أنتج GPT-2 ملخّصات قريبة من مستوى النماذج التلخيصية المبكرة حين وُجِّه بعبارة «TL;DR:»، وإن كان هذا أضعف أدائه بين المهام.

النمط واضح: كلّما كبر النموذج تحسّن أداؤه في كلّ مهمة، وقدرات لا وجود لها عند الحجم الصغير تظهر عند الحجم الكبير.

تطرح الورقة فرضية جريئة: النموذج اللغوي الذي يُدرَّب على بيانات متنوّعة وكافية يتعلّم ضمنيًا أداء مهام عديدة، لأنّ إتقان هذه المهام شرط لتحقيق أفضل تنبؤ ممكن بـالرمز التالي.

فكّر في الأمر هكذا: حتى يتنبّأ النموذج بالكلمة التالية في نصّ يحتوي سؤالًا ثمّ إجابته، عليه أن يفهم ما هي عملية الأسئلة والأجوبة بحدّ ذاتها. وحتى يتنبّأ بالكلمة التالية في نصّ يُلخّص مستندًا أطول، عليه أن يفهم ما هو التلخيص بحدّ ذاته. والويب بتنوّعه الهائل يحتوي عمليًا على أمثلة لكلّ مهمة في معالجة اللغة الطبيعية — والنموذج اللغوي يستوعبها جميعًا أثناء تدريبه.

هذه هي فرضية النموذج الشامل: النماذج اللغوية الكبيرة بما يكفي هي في حقيقتها متعلّمات ضمنيّة متعدّدة المهام، وأداؤها في كلّ مهمة يعتمد على سعة النموذج وتنوّع بياناته. والنتيجة تُغيّر قواعد اللعبة: لستَ بحاجة أصلًا لتعريف المهام. كلّ ما تحتاجه هو نموذج كبير ومجموعة بيانات كبيرة ومتنوّعة — والمهام ستظهر من تلقاء نفسها.

سؤال مشروع يُطرح هنا: هل GPT-2 يحفظ بيانات تدريبه ويسترجعها فحسب؟ للإجابة، حلّل الباحثون نسبة التداخل بين بيانات التدريب وبيانات الاختبار. حسبوا كم من سلاسل الكلمات الثمانية (8-grams) في كلّ مجموعة اختبار ظهرت أيضًا في WebText.

تراوح التداخل بين 1% و6% حسب المعيار المرجعي — نسبة غير صفرية، لكنّها أصغر بكثير من أن تُفسّر تحسّن الأداء. على مجموعة LAMBADA — المُصمَّمة خصيصًا لتتطلّب فهمًا بعيد المدى — حقّق GPT-2 تحسينات كبيرة مقارنةً بنُسخه الأصغر، ما يُشير إلى تعميم حقيقي لا مجرّد استرجاع. النموذج يؤدّي جيّدًا على أنماط لم يرَها من قبل، وليس فقط على ما سبق أن رآه.

نقل GPT-2 مركز ثقل المجال من تصميم بنية لكلّ مهمة إلى التوسيع والحثّ النصّي. أبرز إسهاماته الدائمة:

• نموذج الحثّ النصّي. أثبت أنّ اللغة الطبيعية تستطيع تحديد المهمة المطلوبة، فاستغنى عن البنى المخصّصة واستبدلها بالنصّ. هذا هو الأساس المباشر لـهندسة الحثّ المُستخدمة اليوم مع كلّ نموذج لغوي كبير.
• التوسيع كمتغيّر بحثي. أظهر أنّ مجرّد تكبير النموذج وتدريبه على بيانات أكثر هو في حدّ ذاته إسهام بحثي. هذا ألهم مباشرةً أبحاث قوانين التوسيع التي تلته.
• وصفة البيانات لا تقلّ أهمّية عن البنية. أثبتت WebText أنّ جودة البيانات وتنوّعها بأهمّية البنية نفسها. نضجت هذه الفكرة لاحقًا في عمليات تنقيح البيانات وراء GPT-3 وChinchilla وLLaMA.
• ترميز أزواج البايت كمعيار. أصبح مُجزّئ GPT-2 المعيار الافتراضي في المجال — تبنّاه (مع تعديلات) GPT-3 وRoBERTa وغيرها كثير.

الإرث الحقيقي لـ GPT-2 ليس رقمًا على معيار مرجعي — بل تحوّل في طريقة التفكير. قبل GPT-2 كان السؤال المعتاد «أيّ بنية تحلّ هذه المهمة؟». بعده أصبح السؤال «كم من البيانات والحوسبة تحتاج هذه المهمة؟». هذا التحوّل هو الأساس الذي بُني عليه عصر النماذج اللغوية الكبيرة بأكمله.