التعميم من الضعيف إلى القوي: استخراج القدرات القوية بإشراف ضعيف

منظومة المحاذاة الحالية تعمل لسبب بسيط: البشر قادرون على الحكم على مخرجات النموذج. حين يكتب ChatGPT فقرة، يستطيع الإنسان أن يُقدِّر هل هي مفيدة ودقيقة وآمنة. لذلك تنجح تقنية RLHF — لأن المُقيّم البشري مُشرف كفؤ.

لكن تخيّل أن النموذج أصبح أذكى منّا. لو كتب مليون سطر برمجي، أو صمّم بروتيناً جديداً، أو أنتج برهاناً رياضياً من مئات الصفحات — لن يستطيع أيّ إنسان التحقّق من كل ذلك. هنا يتحوّل الإنسان إلى مُشرف ضعيف: يلتقط الأخطاء السطحية لكنه يعجز عن كشف الإخفاقات العميقة.

وهنا المفارقة: الأداة التي نعتمد عليها في المحاذاة — أي التغذية الراجعة البشرية — تنهار تحديداً حين نحتاج المحاذاة أكثر ما يكون، أي حين تتفوّق النماذج علينا. هذا ما سمّاه المؤلفون مشكلة المحاذاة الفائقة: كيف يُسيطر مُشرف ضعيف على نموذج أذكى منه بمراحل؟

صمّم المؤلفون تجربة من ثلاث خطوات واضحة. الخطوة الأولى: نأخذ نموذجاً صغيراً ونُجري له ضبطاً دقيقاً على تسميات صحيحة فيصبح مُشرفاً ضعيفاً. الخطوة الثانية: نستخدم تنبؤات هذا المُشرف الضعيف كتسميات تدريبية لضبط نموذج أكبر منه بكثير — هذا هو الطالب القوي. الخطوة الثالثة: نُدرِّب النموذج القوي نفسه على التسميات الصحيحة مباشرةً لنعرف السقف القوي — أي أقصى ما يُحقّقه هذا النموذج بإشراف مثالي.

المقياس المحوري هنا هو نسبة استعادة فجوة الأداء (PGR): كم من الفجوة بين أداء المُشرف الضعيف وسقف النموذج القوي نجح الطالب في سدّها؟ لو كانت PGR = 0 فالطالب لم يُضِف شيئاً فوق مستوى مُشرفه. ولو كانت PGR = 1 فقد حقّق تعميماً كاملاً — استعاد كل إمكانات النموذج القوي رغم أنه لم يرَ سوى تسميات ضعيفة.

الأنيق في هذا التصميم أنه قابل للتطبيق اليوم بأيّ زوج من النماذج — لا حاجة لانتظار ظهور ذكاء اصطناعي فائق. يمكننا دراسة تحدّيات المحاذاة المستقبلية الآن.

اختبر المؤلفون إطارهم على ثلاثة مجالات مختلفة، مستخدمين نماذج مُدرَّبة مسبقاً من عائلة GPT-4 تتفاوت في حجم الحوسبة بسبع مراتب.

المهام اللغوية (22 مهمة NLP): هنا ظهرت أقوى النتائج. حين أُجري ضبط دقيق لـGPT-4 على تسميات من مُشرف بمستوى GPT-2، تجاوزت PGR حاجز 50% في أغلب الحالات. النموذج القوي لا يكتفي بنسخ التسميات الضعيفة، بل يستثمر تمثيلاته الداخلية المتفوّقة.

ألغاز الشطرنج: الصورة هنا مختلطة. حين تكون الفجوة بين المُشرف والطالب صغيرة، تبقى PGR مقبولة (فوق 40%). لكن مع اتّساع الفجوة كثيراً تتراجع PGR، بل تظهر ملامح تأثير عكسي — نماذج أكبر تُعمِّم أحياناً بشكل أسوأ.

نمذجة المكافآت في ChatGPT: أصعب إعداد. PGR لا تتجاوز عادةً 10%، ونادراً ما تصل إلى 20%. وهذا يعني أن RLHF بصورته الحالية لن يكفي وحده حين تصبح النماذج فائقة الذكاء.

لكن النتيجة الجوهرية المُشجّعة عبر المجالات الثلاثة: PGR موجبة في كل الحالات تقريباً. الطالب القوي يتفوّق على مُشرفه الضعيف في كل تكوين تقريباً. النموذج القوي لا ينسخ فحسب — بل يُعمِّم.

الضبط الدقيق المباشر يُعطي PGR موجبة، لكنها لا تصل إلى كامل إمكانات النموذج القوي. لذلك اختبر المؤلفون ثلاثة أساليب بسيطة لتقليص هذه الفجوة.

هذا هو الأسلوب الأنجح. المشكلة في الضبط الدقيق المباشر أن الطالب يتعلّم تقليد المُشرف الضعيف — أخطاءه وصوابه معاً. والمطلوب شيء مختلف: أن يفهم الطالب قصد المُشرف لا أن ينسخ أخطاءه.

الحل: نُضيف حدّ خسارة مساعداً يدفع النموذج القوي ليكون واثقاً من تنبؤاته حتى لو خالفت التسميات الضعيفة. الفكرة قريبة من تقليل الإنتروبيا في التعلّم شبه المُشرَف. والمنطق بسيط: حين يختلف النموذج القوي مع التسميات الضعيفة ويكون واثقاً من موقفه، فالأرجح أنه هو المُصيب — لأن تمثيلاته الداخلية أغنى.

عملياً، تُكافئ خسارة الثقة الطالب على إصدار تنبؤات حاسمة على بيانات بلا تسميات. هذا يعمل كـمُنظِّم يسحب الطالب بعيداً عن النسخ الأعمى ويدفعه نحو توظيف معرفته الذاتية.

بهذه الإضافة البسيطة، قفزت PGR في المهام اللغوية من نحو 25% إلى ما يقارب 80% حين استُخدم أصغر مُشرف مع أكبر طالب. وفي مهام كثيرة، استعاد الأسلوب الجزء الأعظم من أداء النموذج القوي.

بدلاً من قفزة واحدة كبيرة من الضعيف إلى القوي، نصعد السلّم درجةً درجة. ندرّب نموذجاً أكبر قليلاً على التسميات الضعيفة، فيُنتج تسميات أفضل، نستخدمها لتدريب نموذج أكبر منه، وهكذا — سلسلة تمهيد تصاعدية.

بالصيغة الرسمية: نبني سلسلة $\mathcal{M}_1 \to \mathcal{M}_2 \to \cdots \to \mathcal{M}_n$ بأحجام متزايدة. تسميات $\mathcal{M}_1$ تُدرِّب $\mathcal{M}_2$، وتنبؤات $\mathcal{M}_2$ تُدرِّب $\mathcal{M}_3$، وهكذا حتى نصل إلى النموذج الأكبر.

هذا الأسلوب يتألّق في ألغاز الشطرنج تحديداً، حيث تنهار PGR مع الفجوات الكبيرة في الضبط المباشر. السرّ أن كل خطوة صغيرة تحتفظ بـPGR مرتفعة، فسلسلة الخطوات تحافظ على جودة التعميم. مع التمهيد، تتحسّن الدقة بانتظام كلما كبر النموذج، وتختفي مشكلة الثبات التي ظهرت مع الضبط المباشر. أما في المهام اللغوية — حيث الضبط المباشر يعمل جيداً أصلاً — فالمكاسب الإضافية متواضعة.

المنطق هنا واضح: إذا كان التعميم يعمل أفضل حين تكون المهمة "بارزة" داخل النموذج — أي حين يملك تمثيلات داخلية غنية للمفاهيم المطلوبة — فلماذا لا نزيد هذا البروز قبل أن نبدأ الإشراف الضعيف؟

الوصفة: نُجري ضبطاً دقيقاً أولاً للنموذج القوي بخسارة نمذجة لغة عادية على بيانات مرتبطة بالمهمة، بدون أيّ تسميات. في حالة نمذجة المكافآت، يعني ذلك تدريب النموذج على جميع أزواج (المقدّمة، الإتمام) من بيانات ChatGPT، دون إخباره أيّها فضّله البشر.

هذه الخطوة غير المُشرَفة تُهيّئ الأرضية: المفاهيم المتعلّقة بالمهمة (مثل "ما الذي يجعل ردّ المساعد جيداً") تصبح أوضح وأسهل فصلاً خطياً في تنشيطات النموذج. وحين يأتي الإشراف الضعيف بعدها، يجد تربة مُمهَّدة أفضل. النتيجة: PGR ترتفع بـ10 إلى 20% في إعداد نمذجة المكافآت الصعب.

لماذا لا يصل النموذج القوي دائماً إلى كامل إمكاناته؟ العائق الأساسي هو التقليد: الطالب يتعلّم أن يُعيد إنتاج تنبؤات المُشرف الضعيف — بأخطائها المنهجية — بدلاً من أن يتعلّم المهمة نفسها.

ثلاث ملاحظات تكشف هذا الفخّ:

فرط التخصيص على التسميات الضعيفة: دقة النموذج على بيانات الاختبار الحقيقية ترتفع في بداية التدريب ثم تبدأ بالهبوط — حتى داخل حقبة واحدة. في البداية يوظّف النموذج معرفته الخاصة، لكنه تدريجياً ينزلق نحو تقليد أخطاء المُشرف. هذا يختلف عن فرط التخصيص المعتاد على بيانات التدريب.

اتّفاق مفرط بين الطالب والمُشرف: على بيانات الاختبار، نسبة اتّفاق الطالب القوي مع المُشرف الضعيف تفوق دقة المُشرف نفسه. بمعنى آخر: الطالب ينسخ بعض أخطاء المُشرف عمداً.

النماذج الأكبر تقاوم التقليد أكثر: وهذه مفاجأة إيجابية. رغم أن النماذج الأكبر تملك سعة أعلى لحفظ التسميات الضعيفة، إلا أنها تتّفق أقل مع أخطاء مُشرفها. يبدو أن التمثيلات المكتسبة من التدريب المسبق تُقاوم تعلّم الأنماط الخاطئة — وهذه إشارة مُشجّعة لمستقبل التوسّع.

التعميم من الضعيف إلى القوي ينجح أفضل حين تكون المهمة المطلوبة "بارزة" داخل النموذج القوي — أي حين تكون المفاهيم المرتبطة بها ممثَّلة بوضوح في تنشيطاته الداخلية.

الحثّ يكشف البروز: في النماذج الكبيرة، يكاد الحثّ بدون أمثلة أو بخمسة أمثلة فقط أن يُعادل أداء الضبط الدقيق في كثير من المهام اللغوية، ما يدلّ على أن معرفة المهمة قريبة من السطح. والمثير أن الحثّ بأمثلة قليلة ذات تسميات ضعيفة يُظهر تعميماً مشابهاً للضبط الدقيق — ما يؤكّد أن الظاهرة ليست مجرد حيلة تدريبية.

الضبط الضعيف يُرتِّب التمثيلات: وهذا اكتشاف لافت. الضبط الدقيق على تسميات ضعيفة يجعل المفهوم الصحيح أسهل فصلاً خطياً في تنشيطات النموذج. مسبار خطي دُرِّب على تسميات صحيحة بعد الضبط الضعيف يتفوّق بوضوح على مسبار دُرِّب على النموذج الأصلي. المعنى: حتى التسميات الناقصة تُعيد ترتيب التمثيلات الداخلية بشكل مفيد فعلاً.

وهذه الملاحظة تتّسق مع نتائج معروفة في أبحاث الارتباطات الزائفة: الضبط الدقيق على بيانات منحازة قد يُنتج مخرجات منحازة، لكنه يبني تمثيلات داخلية قوية بشكل مفاجئ للمفهوم الصحيح.

ينبّه المؤلفون إلى فجوتين جوهريتين بين تجاربهم والواقع المستقبلي:

بروز التقليد: النماذج الفائقة المستقبلية ستتدرّب صراحةً على بيانات بشرية، وستكون بارعة جداً في التنبؤ بما "سيقوله" البشر. هذا يجعل فخّ "محاكاة البشر" — حيث يتعلّم النموذج إخراج ردود بمستوى بشري بدلاً من أفضل ما لديه — أخطر بكثير مما هو في التجربة الحالية، لأن النماذج القوية هنا لم تُدرَّب أصلاً على تقليد النماذج الضعيفة.

تسرّب التدريب المسبق: كثير من المهام اللغوية المدروسة قد تكون موجودة ضمنياً في بيانات التدريب المسبق، ما يجعل استخراج القدرات سهلاً بصورة مصطنعة. القدرات الفائقة الحقيقية ستكون أكثر "كموناً" — مُكتسَبة عبر تعلّم ذاتي الإشراف لا عبر ملاحظة مباشرة — وبالتالي أصعب في الاستخراج.

ورغم ذلك، أجرى المؤلفون تجربة إثبات مبدئي على نماذج رؤية ذاتية الإشراف (DINO) حيث القدرات كامنة فعلاً والحثّ مستحيل. وحتى في هذه الحالة نجح التعميم من الضعيف إلى القوي — ما يُعطي أساساً لتفاؤل حذر.

تختتم الورقة بدعوة صريحة: النماذج الفائقة قد تظهر خلال هذا العقد، ومحاذاتها من أخطر المشكلات التقنية المفتوحة. إطار التعميم من الضعيف إلى القوي يتيح لنا أن نُحرز تقدّماً تجريبياً الآن — قبل أن تُوجد تلك النماذج — على السؤال الجوهري: كيف نضمن أنها تفعل ما نريد؟