النماذج اللغوية قادرة على التعلّم بأمثلة قليلة

قبل GPT-3 كانت الوصفة المعتمدة في معالجة اللغة الطبيعية قد رسّخها BERT وGPT-1: درِّب نموذجاً كبيراً تدريباً مسبقاً على نصوص غير مُعنونة ثم اضبطه ضبطاً دقيقاً على مجموعة بيانات مُعنونة خاصة بكل مهمة. نجح هذا النهج بشكل ممتاز — لكنه جلب معه ثلاث عقبات:

• الجوع للبيانات. كل مهمة جديدة تحتاج آلاف الأمثلة المُعنونة. والعنونة بطيئة ومُكلفة وأحياناً مستحيلة (كيف تُعنوِن «جودة الكتابة الإبداعية» مثلاً؟).

• الاختصارات الزائفة. النماذج المضبوطة على بيانات ضيقة تلتقط أنماطاً سطحية تنهار عند تغيّر التوزيع. فنموذج تحليل المشاعر المُدرَّب على مراجعات الأفلام قد يتعلّق بكلمة «التصوير السينمائي» بدلاً من أن يفهم المشاعر فعلاً.

• التناقض مع طريقة تعلّم البشر. البشر يقرؤون بضعة أمثلة ويعمّمون منها. لا يحتاجون 10,000 زوج مُعنوَن ليفهموا معنى «ترجِم». المفترض أن توجد طريقة لتعليم النموذج بالطريقة ذاتها — بالأمثلة لا بتحديث التدرّجات.

الفكرة المحورية في GPT-3 هي أن النموذج اللغوي المُدرَّب على التنبؤ بـالرمز التالي يكون قد تعلّم ضمنياً خوارزمية تعلّم داخلية. حين تكتب موجِّهاً مثل:

«ترجم من الإنجليزية إلى الفرنسية: sea otter → loutre de mer cheese → fromage plaid →»

النموذج لا يتعامل مع هذا باعتباره «مهمة ترجمة». بل يرى نمطاً في النص ويتنبأ بالإكمال الأرجح — الذي يصادف أنه الكلمة الفرنسية الصحيحة. ما يفعله النموذج هو إكمال أنماط، لكن عند الأحجام الكبيرة يتحوّل إكمال الأنماط إلى تنفيذ فعلي للمهام.

حدّدت الورقة ثلاثة أنماط للتقييم — يُقدّم كل منها قدراً مختلفاً من المعلومات عن المهمة داخل الموجِّه:

• النمط الصفري: وصف المهمة بلغة طبيعية فقط دون أي أمثلة. يعتمد النموذج كلياً على ما تعلّمه أثناء التدريب المسبق.

• نمط المثال الواحد: وصف المهمة مع مثال واحد يوضّح المدخل والمخرج. يشبه الطريقة التي يتلقى بها الإنسان شرحاً سريعاً.

• نمط الأمثلة القليلة: وصف المهمة مع 10 إلى 100 مثال، لا يحدّها سوى نافذة السياق (2048 رمزاً). لا تحديث للتدرّجات — الأمثلة مجرد جزء من النص المُدخَل.

من حيث البنية، GPT-3 هو نفسه GPT-2: محوِّل أحادي الاتجاه مُدرَّب بهدف النمذجة اللغوية ذاتية الانحدار — أي التنبؤ بالرمز التالي بناءً على جميع الرموز السابقة. الجديد هنا يكمن بالكامل في الحجم. درّبت الورقة ثمانية نماذج تمتد عبر ثلاث رتب من الحجم لعزل أثر الحجم عن أثر البنية:

• GPT-3 Small — 125 مليون معامل، 12 طبقة، $d_{model}$ = 768
• GPT-3 Medium — 350 مليون معامل، 24 طبقة، $d_{model}$ = 1024
• GPT-3 Large — 760 مليون معامل، 24 طبقة، $d_{model}$ = 1536
• GPT-3 XL — 1.3 مليار معامل، 24 طبقة، $d_{model}$ = 2048
• GPT-3 2.7B — 2.7 مليار معامل، 32 طبقة، $d_{model}$ = 2560
• GPT-3 6.7B — 6.7 مليار معامل، 32 طبقة، $d_{model}$ = 4096
• GPT-3 13B — 13 مليار معامل، 40 طبقة، $d_{model}$ = 5140
• GPT-3 175B — 175 مليار معامل، 96 طبقة، $d_{model}$ = 12288، 96 رأس انتباه

نافذة السياق ثابتة عند 2048 رمزاً لجميع الأحجام، ويستخدم النموذج تضمينات موضعية مُتعلَّمة ومُقطِّعاً يعمل بـترميز الأزواج البايتية بحجم مفردات يبلغ نحو 50,257 رمزاً. التعديل البنيوي الأساسي مقارنة بـ GPT-2 هو استخدام انتباه متناوب بين الكثيف والمتناثر المحلي في طبقات المحوِّل، وفق أسلوب Sparse Transformer.

جودة بيانات التدريب لا تقل أهمية عن حجم النموذج. دُرِّب GPT-3 على مزيج مُنتقى بعناية من خمس مجموعات بيانات يبلغ مجموعها نحو 300 مليار رمز. أكبر هذه المصادر — Common Crawl — خضع لتصفية مكثّفة: استُخدم مُصنِّف ثنائي مُدرَّب على مدوّنات مرجعية عالية الجودة (ويكيبيديا وWebText) لتقييم كل صفحة، ولم تُقبَل سوى الصفحات التي حصلت على درجات عالية.

المصادر الخمسة وأوزانها التقريبية في التدريب:

• Common Crawl (مُصفّى) — 410 مليار رمز متاح، 60% من مزيج التدريب
• WebText2 — 19 مليار رمز، 22% (نسخة موسّعة من بيانات تدريب GPT-2)
• Books1 — 12 مليار رمز، 8%
• Books2 — 55 مليار رمز، 8%
• ويكيبيديا — 3 مليارات رمز، 3%

النقطة الحاسمة هي أن المجموعات الأعلى جودة مُثِّلت بنسبة أعلى: ويكيبيديا مرّت على النموذج نحو 3.4 مرات أثناء التدريب، بينما لم يكتمل حتى استعراض Common Crawl مرة واحدة. كذلك وثّقت الورقة مخاوف تلوّث البيانات — أي ظهور مجموعات الاختبار المرجعية بالخطأ ضمن بيانات التدريب — وأجرت تحليلات تلوّث لكل معيار تقييم.

أبرز ما كشفته الورقة هو وجود علاقة قوة سلسة بين حجم النموذج وأدائه بأمثلة قليلة. عبر جميع معايير القياس تقريباً ظهر نمط ثابت:

• الأداء يتحسّن كدالة سلسة في عدد المعاملات — بلا قفزات مفاجئة ولا حظوظ عشوائية. معاملات أكثر تعني أداءً أفضل بشكل يمكن التنبؤ به.

• الفجوة بين النمط الصفري ونمط الأمثلة القليلة تتّسع مع الحجم. النماذج الصغيرة بالكاد تستفيد من الأمثلة في السياق، بينما نموذج الـ 175 مليار قد يقفز 10–30 نقطة مئوية حين يُعطى بضعة أمثلة فقط. بمعنى آخر: التعلّم في السياق قدرة ناشئة تتعاظم مع التوسّع.

• في كثير من المهام يُعادل أداء GPT-3 175B بأمثلة قليلة — أو يتفوّق على — أفضل النتائج التي حقّقتها نماذج مضبوطة دقيقاً، وذلك دون أي تحديث لـالتدرّجات.

يرتبط هذا الاكتشاف مباشرة بأبحاث قوانين التوسّع: المنحنيات الأُسّية نفسها التي تتنبّأ بـالفقد أثناء التدريب تتنبّأ أيضاً بالأداء على المهام اللاحقة، مما يجعل تكبير النماذج استراتيجية بحثية موثوقة وليس رهاناً.

قيّمت الورقة GPT-3 على أكثر من عشرين معيار قياس تغطي نمذجة اللغة والإجابة عن الأسئلة والترجمة والحساب والاستدلال العام. وجاءت النتائج مُركّبة:

نتائج قوية بأمثلة قليلة في المهام القريبة من نمذجة اللغة — كإكمال الفراغات السياقية (LAMBADA: 86.4% بالنمط الصفري، وهو رقم قياسي جديد)، وفهم المقروء، وأسئلة المعرفة العامة، والترجمة بين أزواج لغوية غنية بالموارد.

نتائج تنافسية لكن متباينة في SuperGLUE (71.8 بأمثلة قليلة مقابل 89.0 لأفضل نموذج مضبوط دقيقاً)، مما يُظهر أن نمط الأمثلة القليلة يقترب من الضبط الدقيق المُخصّص لكنه لا يتفوّق عليه دائماً.

نتائج أضعف في المهام التي تحتاج استدلالاً مُهيكلاً — مثل الاستدلال اللغوي الطبيعي (ANLI) وبعض صيغ فهم المقروء ومهام المقارنة — حيث بقيت النماذج المضبوطة دقيقاً متفوّقة. الحساب كان كاشفاً بشكل خاص: استطاع GPT-3 جمع عددين من رقمين (100%) وأعداد من ثلاثة أرقام (~80%)، لكنه أخفق في جمع أعداد من خمسة أرقام (~10%)، وهو ما يُرجّح أنه يُطابق أنماطاً بدلاً من أن يحسب فعلاً.

الورقة ترصد الظاهرة لكنها لا تُقدّم تفسيراً آلياً حاسماً. مع ذلك، هناك عدة حدوس تساعد على بناء تصوّر ذهني:

فرضية التعرّف على الصيغة: أثناء التدريب المسبق صادف النموذج أنماطاً نصية مُهيكلة كثيرة — أزواج سؤال وجواب في المنتديات، أزواج ترجمة في وثائق متعددة اللغات، تعليمات خطوة بخطوة في أدلّة الاستخدام. عند الاستدلال يُفعّل الموجِّه ذو الأمثلة القليلة «إجراءً فرعياً» تعلّمه النموذج سابقاً ويتطابق مع النمط المعروض. أي أن النموذج لا يتعلّم مهمة جديدة فعلياً، بل يتعرّف على أي قدرة مكتسبة ينبغي أن يستدعيها.

فرضية الاستدلال البايزي: الموجِّه يوفّر دليلاً يُضيّق التوزيع اللاحق على المهام الممكنة. في النمط الصفري يكون التوزيع واسعاً («أي إكمال نصي»)، وكل مثال إضافي يُوجّه التوزيع نحو المهمة المطلوبة. النماذج الأكبر تحمل تمثيلات أغنى، فتحتاج أمثلة أقل للوصول إلى المهمة.

النتيجة العملية: يتحوّل المستخدم إلى «مبرمج» — لا بكتابة شفرة برمجية بل بصياغة أمثلة توضيحية. جودة النتائج تعتمد على تصميم الموجِّه: ترتيب الأمثلة، وصيغة الفاصل، وطريقة وصف المهمة — كلها عوامل مؤثّرة جداً. هذا الإدراك هو الذي أنشأ ميدان هندسة الموجِّهات.

تتميّز ورقة GPT-3 بشفافية غير معتادة حول نقاط ضعفها — إذ خصّصت قسماً كاملاً للقيود:

• جودة النصوص المُولَّدة. يستطيع GPT-3 إنتاج نص سلس لكنه قد ينحرف عن الموضوع أو يُكرّر نفسه أو يناقض ما قاله أو يُدرج عبارات بلا معنى — خاصة في النصوص الطويلة. النموذج ببساطة لا يملك آلية داخلية للتحقّق من الحقائق.

• الاستدلال البنيوي. المهام التي تحتاج مقارنة أو استنتاجاً متعدد الخطوات أو تتبّع كيانات عبر فقرات طويلة تبقى نقطة ضعف واضحة. النموذج في الغالب «يُطابق أنماطاً» بدلاً من أن يستدل فعلاً.

• كفاءة البيانات لا تزال أدنى من البشر. يحتاج GPT-3 نحو 300 مليار رمز في التدريب المسبق، بينما يتعلّم البشر اللغة من بيانات أقل بمراتب عديدة. النموذج كفوء بالبيانات عند الاستدلال (بأمثلة قليلة) لكنه شرِه للبيانات عند التدريب.

• غموض التعلّم في السياق. لا يزال غير واضح هل يتعلّم النموذج مهاماً جديدة فعلاً من الأمثلة المعطاة، أم أنه يتعرّف على مهام اكتسبها أثناء التدريب المسبق ويُعيد تطبيقها. الورقة نفسها تُصرّح بأن هذا سؤال مفتوح.

• التكلفة وصعوبة الوصول. تدريب نموذج بـ175 مليار معامل تطلّب ما يُقدَّر بـ4.6 مليون دولار من تكاليف الحوسبة (بأسعار 2020) ومجموعة من المعالجات الرسومية المتقدمة لأسابيع. هذا جعل البحث حكراً عملياً على المؤسسات ذات الموارد الكبيرة.

تتضمّن الورقة نقاشاً موسّعاً حول المخاوف المجتمعية — وهو شامل بدرجة غير معتادة لذلك الوقت:

• احتمالات سوء الاستخدام. القدرة على توليد نصوص طليقة وبكميات كبيرة قد تُسهّل حملات البريد العشوائي والتصيّد والتضليل. وأشارت الورقة إلى أن البشر وجدوا صعوبة في تمييز مخرجات GPT-3 عن النصوص المكتوبة بأيدٍ بشرية، حتى مع سياق لا يتجاوز 500 كلمة.

• الانحياز. يرث النموذج انحيازات بيانات تدريبه. أجرت الورقة تقييمات مُوجَّهة حول الانحياز على أساس الجنس والعرق والدين، ووجدت أن GPT-3 يربط بعض المهن بأجناس بعينها ويعكس الصور النمطية الموجودة في بيانات الويب التي تدرّب عليها.

• الطاقة والبيئة. تدريب GPT-3 استهلك طاقة كبيرة. حاججت الورقة بأن تكلفة التدريب المسبق تُوزَّع على ملايين عمليات الاستدلال اللاحقة، لكن الأثر البيئي لتكبير النماذج ظل مصدر قلق مشروع.

إرث GPT-3 الأعمق ليس أي نتيجة على معيار قياس بعينه — بل هو التحوّل الجذري في النموذج الفكري. قبل GPT-3 كان «استخدام نموذج لغوي» يعني ضبطاً دقيقاً. بعد GPT-3 أصبح يعني صياغة موجِّه. هذا التحوّل المفاهيمي — من التخصّص القائم على التدرّجات إلى التعليم القائم على النص — هو الأساس الذي بُنيت عليه كل تطبيقات النماذج اللغوية الكبيرة الحديثة.