هل القدرات الناشئة في النماذج اللغوية الكبيرة مجرد سراب؟

في 2022، أطلق وي وزملاؤه مصطلح «القدرات الناشئة» لوصف ظاهرة لافتة: قدرات لا أثر لها في النماذج الصغيرة، لكنها تظهر فجأة في النماذج الأكبر. ما جعل هذه الفكرة مثيرة ومقلقة في آن واحد هو صفتان:

الحدّة — الانتقال من «لا يستطيع» إلى «يستطيع» يبدو لحظياً. نموذج بعشرة مليارات معامل يُسجّل صفراً تقريباً في الاستدلال الحسابي، بينما نموذج بمئة مليار يُسجّل درجة شبه كاملة.

انعدام التوقّع — لا يمكن التنبؤ بالحجم الذي ستظهر عنده قدرة معيّنة. لا يمكنك الاستقراء من أداء النماذج الأصغر لتعرف متى ستحدث القفزة.

هاتان الصفتان معاً ولّدتا سؤالاً ملحّاً يتعلق بـأمان الذكاء الاصطناعي: إذا كانت النماذج قادرة على اكتساب قدرات خطيرة دون سابق إنذار، فكيف نستعدّ لذلك؟ لكن شيفر وزملاءه لاحظوا أمراً مريباً: الأدلة على هذا النشوء اعتمدت بشكل شبه كامل على مقاييس تفرض عتبات قاطعة على مخرجات النموذج.

الحجّة المركزية في الورقة أنيقة وبسيطة. نعرف أن خسارة الإنتروبيا التقاطعية لكل رمز تنخفض بسلاسة مع زيادة حجم النموذج — وهذا ما تُوثّقه قوانين التحجيم العصبية. وبما أن الخسارة تنخفض بانتظام، فإن احتمال اختيار الرمز الصحيح يتحسّن بسلاسة أيضاً. إلى هنا لا يوجد أي نشوء.

المشكلة تظهر حين يختار الباحث الدقة مقياساً للتقييم. هذا المقياس يعطي النموذج درجة 1 فقط إذا كانت جميع الرموز في الإجابة صحيحة، وصفراً في أي حالة أخرى. فإذا كانت الإجابة مكوّنة من $L$ رمزاً، يصبح احتمال الحصول على درجة كاملة هو احتمال الرمز الواحد مرفوعاً للأُس $L$. هذه العلاقة الأُسّية هي أصل الخدعة — المقياس يُضخّم التحسّنات الصغيرة ويجعلها تبدو وكأنها قفزة مفاجئة.

الأمر نفسه مع درجة الاختيار المتعدد: هي دالة خَطوية تُعطي 1 إذا وقع أعلى احتمال على الخيار الصحيح، وصفراً خلاف ذلك. هذا المقياس المتقطّع يصنع حافّة حادّة: أي تحوّل احتمالي بسيط يعبر حدّ القرار يظهر كقفزة من صفر إلى واحد.

العلاج بسيط: استخدم مقياساً خطياً أو مستمراً. مسافة تعديل الرموز مثلاً تحسب عدد الرموز المختلفة بين مخرج النموذج والإجابة المرجعية، وتتناسب تقريبياً بشكل خطي مع معدّل الخطأ لكل رمز. ودرجة براير تقيس متوسط مربع الفرق بين الاحتمالات المتوقَّعة والنتائج الفعلية، وهي مستمرة بطبيعتها. حين تُعيد تقييم نفس مخرجات النموذج باستخدام أيٍّ من هذين المقياسين، يختفي «النشوء» تماماً ويظهر تحسّن سلس ومتوقع.

كانت عائلة GPT-3 من أبرز الأمثلة التي استُشهد بها على وجود قدرات حسابية ناشئة. في مهام كضرب عددين من رقمين أو جمع عددين من أربعة أرقام، النماذج الأصغر تُسجّل قرابة الصفر على مقياس الدقة، بينما أكبر نموذج (175 مليار معامل) يقفز إلى درجات عالية جداً — نمط يبدو وكأنه نشوء كلاسيكي.

وضع المؤلفون ثلاثة تنبؤات بناءً على نظريتهم، وتحقّقت جميعها:

التنبؤ الأول: لو استبدلنا الدقة بـمسافة تعديل الرموز، ينبغي أن نرى تحسّناً سلساً. وبالفعل، اختفى «النشوء» تماماً، وظهر أن جميع النماذج تتحسّن بانتظام مع زيادة الحجم.

التنبؤ الثاني: حتى مع استخدام الدقة، فإن زيادة حجم مجموعة الاختبار ينبغي أن تكشف أن النماذج الصغيرة تؤدّي فوق مستوى الصدفة. وهذا ما حدث — حتى نموذج الـ 350 مليون معامل أظهر دقة غير صفرية، وهو ما يتّسق مع التنبؤ الرياضي بالتناقص الهندسي.

التنبؤ الثالث: زيادة طول الإجابة المطلوبة ينبغي أن تُقلّل الدقة هندسياً ومسافة تعديل الرموز شبه خطياً. وكلا النمطين تحقّقا كما هو متوقع.

المنطق هنا بسيط: لو كانت القدرات الناشئة ظاهرة حقيقية في النماذج، فينبغي أن تظهر مهما كان المقياس المستخدم. أما لو كانت وهماً يصنعه المقياس، فينبغي أن تتركّز حول مقاييس بعينها. حلّل المؤلفون جميع التوليفات الممكنة من (مهمة، مقياس، عائلة نموذج) في معيار BIG-Bench ووجدوا نمطاً لافتاً:

من أصل 39 مقياساً مفضّلاً في BIG-Bench، لا يُنتج أكثر من 5 منها أي قدرات ناشئة. والأهم أن مقياسين فقط — درجة الاختيار المتعدد و**المطابقة التامة للسلسلة** — يقفان وراء أكثر من 92% من جميع حالات النشوء المزعومة. الأول متقطّع (دالة خَطوية) والثاني لاخطي (يشترط صحة كل رمز).

وحين أعاد المؤلفون تقييم عائلة LaMDA — التي أظهرت نشوءاً واضحاً تحت درجة الاختيار المتعدد — مستخدمين درجة براير المستمرة بدلاً منها، اختفت القدرات الناشئة بالكامل. مخرجات النموذج لم تتغيّر حرفاً واحداً — الذي تغيّر هو المقياس فقط.

أقوى ما في الورقة هو الدليل البنائي: المؤلفون لم يكتفوا بتفسير النشوء، بل صنعوه عمداً في نماذج رؤية لم يسبق أن لاحظ أحد فيها نشوءاً من قبل.

مرمِّزات ذاتية على CIFAR-100: هذه النماذج تُظهر خطأ إعادة بناء يتناقص بسلاسة مع زيادة حجمها. لكن حين عرّف المؤلفون مقياساً متقطّعاً جديداً — «قدرة إعادة البناء: 1 إذا انخفض الخطأ تحت عتبة $c$، وصفر خلاف ذلك» — ظهر انتقال حادّ يبدو وكأنه نشوء.

محوِّلات ذاتية الانحدار على Omniglot: هذه المحوِّلات تُصنّف حروفاً مكتوبة بخط اليد وتُظهر دقة تتحسّن بسلاسة على الصور المفردة. لكن بإعادة تعريف الدقة كـ«تصنيف جميع الصور الـ $K$ في التسلسل بشكل صحيح»، ظهرت قدرة «ناشئة» عند قيم $K$ الأكبر.

LeNet على MNIST: الأمر نفسه مع الشبكات الالتفافية — دقتها على الصورة الواحدة سلسة تماماً، لكن حين تُعيد تعريف المقياس كـ«تصنيف $K$ صورة مستقلة جميعها بشكل صحيح»، يظهر نشوء وهمي.

في كل هذه الحالات، السلوك الفعلي للنموذج كان يتحسّن بسلاسة. من صنع النشوء هو الباحث حين اختار المقياس.

تُقدّم الورقة نموذجاً رياضياً واضحاً يربط خسارة الإنتروبيا التقاطعية لكل رمز بالمقاييس التي يراها الباحث. نقطة الانطلاق هي افتراض بسيط: الإنتروبيا التقاطعية لكل رمز تنخفض وفق قانون أُسّي مع حجم النموذج $N$:

حين تُطبّق المقاييس الأربعة الرئيسية على نفس التحسّن الأساسي، تتصرّف بشكل مختلف تماماً:

الدقة (لاخطية): $\exp(-L_{\text{CE}}(N) \cdot L)$ — ترفع احتمال الرمز لأُس يساوي طول الإجابة $L$. هذا الضرب الهندسي هو ما يصنع الانتقالات الحادّة.

مسافة تعديل الرموز (خطية): $L \cdot (1 - \exp(-L_{\text{CE}}(N)))$ — تعدّ أخطاء الرموز واحداً واحداً. سلسة ومتوقعة.

درجة الاختيار المتعدد (متقطّعة): دالة خَطوية عند حدّ القرار. أي تحوّل احتمالي صغير بالقرب من الحدّ يُحدث قفزة من 0 إلى 1.

درجة براير (مستمرة): متوسط مربع الفرق بين الاحتمالات المتوقَّعة والنتائج الفعلية. سلسة بطبيعة تعريفها.

نتائج هذه الورقة لها تبعات واسعة تمسّ عدة جوانب من المجال:

على صعيد المعايير: المهمة والمقياس قراران منفصلان تماماً. المهمة تختبر قدرة معيّنة، والمقياس يحدّد كيف تُحسب النتيجة. الخلط بينهما — كأن نقول «النموذج لا يستطيع الحساب» لمجرد أن الدقة صفر — خطأ منهجي. الأصل أن يُقدّم الباحثون دائماً مقاييس مستمرة إلى جانب المقاييس المنفصلة.

على صعيد أمان الذكاء الاصطناعي: جزء كبير من الإلحاح حول محاذاة الذكاء الاصطناعي يأتي من الخوف من ظهور قدرات خطيرة «بلا مقدمات». لكن إذا كان النشوء أثراً قياسياً، فالقدرات في حقيقتها قابلة للتنبؤ — تنمو بالتدريج مع الحجم. هذا لا يُقلّل أهمية الأمان، لكنه يُغيّر طبيعة المشكلة من «قفزات لا يمكن توقّعها» إلى «نمو منتظم يحتاج رصداً بالأدوات الصحيحة».

على صعيد المنهجية العلمية: حين تبقى النماذج ومخرجاتها غير متاحة للعموم، يصبح التحقّق المستقل مستحيلاً. المؤلفون يؤكّدون أن المجال لا يمكن أن يتقدّم إذا لم يستطع الباحثون إعادة تحليل النتائج المنشورة بمقاييس مختلفة.