Self-Instruct: مواءمة النماذج اللغوية بتعليمات يولّدها النموذج بنفسه

بحلول عام 2022 كانت الوصفة المعتمدة لبناء نماذج قادرة على اتّباع التعليمات واضحة: تأخذ نموذجاً لغوياً مُدرَّباً مسبقاً، تجمع آلاف الأمثلة المكتوبة بشرياً — كل مثال يتكون من تعليمة ومدخل ومخرج — ثم تُجري ضبطاً دقيقاً للنموذج عليها. مشاريع مثل FLAN وT0 وSuper-NaturalInstructions أثبتت أن هذا النوع من الضبط يفتح الباب أمام تعميم مذهل: النموذج يستطيع أداء مهام لم يرَها أثناء التدريب، بشرط واحد — أن تُوصَف له المهمة بلغة طبيعية.

لكن هذا النهج كان له سقف واضح. الموصِّفون البشريون يميلون بطبيعتهم إلى كتابة مهام مألوفة — تحليل مشاعر، ترجمة، تعرّف على كيانات مسمّاة — لأن هذا ما يعرفونه. أما المهام الإبداعية أو غير المعتادة — كتابة شفرة برمجية، تأليف قصيدة، تقمّص شخصية تاريخية — فتبقى ممثّلة تمثيلاً ناقصاً. بكلمات أخرى: خيال الموصِّفين يصير سقف النموذج. والتوسّع يعني توظيف مزيد من الموصِّفين، وهذا مكلف ولا يضمن تنوّعاً أفضل.

حاولت OpenAI حلّ المشكلة جزئياً في InstructGPT بجمع استعلامات المستخدمين الحقيقية، لكن تلك البيانات كانت خاصة وباهظة التوصيف ولا يمكن لأيّ فريق بحثي إعادة إنتاجها. كان المجال يحتاج طريقة لتوليد بيانات تعليمات متنوعة بتكلفة منخفضة وبشكل مفتوح للجميع.

الملاحظة المحورية في Self-Instruct بسيطة لكنها عميقة: النموذج اللغوي المُدرَّب مسبقاً «يعرف» فعلاً عدداً ضخماً من المهام من بيانات تدريبه المسبق — المشكلة أنه لم يُنظَّم بعد ليتّبع تعليمات حول هذه المهام. لكن إذا أعطيته بضعة أمثلة عبر موجِّه مُحكم، يستطيع توليد مهام جديدة كلياً مع مدخلاتها ومخرجاتها — مهام لم يُدرَّب عليها صراحةً قط.

يتكوّن خط الأنابيب من أربع خطوات تدور في حلقة تكرارية. تخيّلها ككرة ثلج تتدحرج من أعلى التل: تبدأ ببذرة صغيرة وتكبر مع كل دورة.

الخطوة 1 — توليد التعليمات. تبدأ العملية بمجمّع مهام يحتوي 175 مهمة كتبها بشر (كل مهمة تتكون من تعليمة ومثال واحد). في كل دورة تُسحب 8 مهام عشوائياً — 6 من المهام البشرية الأصلية و2 من مهام ولّدها النموذج في دورات سابقة — وتُقدَّم كأمثلة تعلّم في السياق لحثّ النموذج اللغوي على ابتكار تعليمة جديدة. هذا المزج بين الأمثلة البشرية والآلية يحافظ على الجودة ويُعزّز التنوع في آن واحد.

الخطوة 2 — تحديد نوع المهمة. ليست كل المهام من صنف واحد. مهام التصنيف — كـتحليل المشاعر — لها مجموعة صغيرة ثابتة من التسميات، بينما مهام التوليد — ككتابة المقالات — تُنتج نصاً مفتوحاً. يُحدّد خط الأنابيب نوع كل تعليمة جديدة باستخدام حثّ بأمثلة قليلة يضم 12 مثالاً تصنيفياً و19 مثالاً غير تصنيفي. هذا التمييز مهم لأن كل نوع يحتاج استراتيجية مختلفة لتوليد أمثلة التدريب.

الخطوة 3 — توليد الأمثلة. لكل تعليمة، يولّد النموذج أزواج مدخل-مخرج — وهي أمثلة التدريب الفعلية. في المهام غير التصنيفية يُستخدم منهج المدخل أولاً: يُولَّد المدخل ثم المخرج. لكن مهام التصنيف تعاني من مشكلة انحياز عند التوليد بهذه الطريقة — مثلاً: مدقّق نحوي سيولّد في الغالب جملاً صحيحة لأن هذا ما تميل إليه النماذج اللغوية طبيعياً. الحل هو منهج المخرج أولاً: تُولَّد تسميات الفئات أولاً، ثم يُولَّد مدخل يناسب كل تسمية. هذا يضمن توزيعاً متوازناً بين الفئات.

الخطوة 4 — التصفية. تحدث مراقبة الجودة على محورين. المحور الأول هو التنوع: لا تُضاف تعليمة جديدة إلى المجمّع إلا إذا كان تشابهها بمقياس ROUGE-L مع كل تعليمة موجودة أقل من 0.7. المحور الثاني هو الصلاحية: تُستبعد الأمثلة التي يكرّر فيها المخرج المدخل، أو تكون التعليمة طويلة جداً أو قصيرة جداً، أو تشير إلى قدرات لا يملكها النموذج كمعالجة الصور. كذلك تُحذف أي تعليمة تحتوي كلمات من قبيل «صورة» أو «رسم».

السرّ في Self-Instruct أن خط الأنابيب تكراري. المهام المولَّدة التي تجتاز التصفية تُعاد إلى مجمّع المهام، فتسحب الدورة التالية من مجموعة أغنى وأكثر تنوعاً. هذا يخلق حلقة تغذية ذاتية إيجابية: تنوّع أكبر في المجمّع يُنتج مهاماً أكثر إبداعاً، وهذه بدورها تزيد تنوّع المجمّع — وهكذا دواليك.

انطلاقاً من 175 مهمة بذرية، ولّد خط الأنابيب 52,445 تعليمة مصحوبة بـ82,439 مثال مدخل-مخرج. منها 11,584 صُنّفت كمهام تصنيف و40,861 كمهام غير تصنيفية. متوسط طول التعليمة نحو 16 كلمة، والمدخلات 13 كلمة، والمخرجات 19 كلمة.

التكلفة الإجمالية لتوليد كامل مجموعة البيانات هذه عبر واجهة GPT-3 كانت نحو 600 دولار — وهي نسبة ضئيلة مما سيكلّفه التوصيف البشري بهذا الحجم. أما الضبط الدقيق لـGPT-3 على البيانات الناتجة فكلّف 338 دولاراً إضافية.

السؤال الطبيعي هنا: هل البيانات التي يولّدها النموذج بنفسه ستكون متكررة أو رديئة؟ فحص المؤلفون الجانبين بعناية.

التنوع: غطّت التعليمات المولَّدة طيفاً واسعاً من أنواع المهام. عند تحليل بنية الفعل-والاسم وجدوا أن أكثر 20 فعلاً جذرياً شيوعاً ومفعولاتهم لا يُشكّلون سوى 14% من إجمالي التعليمات — أي أن 86% تستخدم صياغات أقل شيوعاً. المهام تتراوح بين الكتابة الإبداعية وتوليد الشفرات البرمجية والمسائل الرياضية وتأليف رسائل البريد والتصنيف والعصف الذهني المفتوح. كذلك وجدوا أن التعليمات المولَّدة تبتعد بشكل واضح عن البذور الـ175: معظمها يملك تشابه ROUGE-L منخفضاً مع أقرب بذرة، ما يؤكد أن النموذج يبتكر مهاماً جديدة فعلاً وليس مجرد إعادة صياغة.

الجودة: أجرى المؤلفون مراجعة يدوية لـ200 تعليمة عشوائية ووجدوا أن 92% تصف مهاماً صالحة، و79% تملك مدخلات مناسبة، و58% تملك مخرجات صحيحة بالكامل. إجمالاً، 54% من العيّنات كانت سليمة في الحقول الثلاثة. صحيح أن هذا يعني أن قرابة نصف البيانات فيه خلل ما، لكن المؤلفين وجدوا أن حتى الأمثلة الصحيحة جزئياً — التي تمتلك البنية السليمة مع محتوى غير مثالي — لا تزال تُقدّم إشارة تدريب مفيدة لتعليم النماذج اتّباع التعليمات.

من الأفكار العملية المهمة في هذه الورقة إدراك أن أنواع المهام المختلفة تحتاج استراتيجيات توليد مختلفة. لنأخذ مثالاً ملموساً: مهمة كشف الأخطاء النحوية. إذا طلبت من النموذج اللغوي أن يولّد جملة مدخل أولاً، سيميل تلقائياً إلى كتابة جمل صحيحة نحوياً — لأن هذا ما تفعله النماذج اللغوية بطبيعتها. والنتيجة مجموعة بيانات منحازة بشدة نحو فئة «لا خطأ».

الحل هو منهج المخرج أولاً لمهام التصنيف. بدلاً من أن نقول للنموذج «ولّد مدخلاً ثم صنّفه»، نقول «هذه التسميات المحتملة — نحوي وغير نحوي — الآن ولّد مدخلاً لكل تسمية.» هذا يفرض تغطية متوازنة لجميع الفئات.

أما المهام غير التصنيفية — كتابة المقالات، توليد الشفرات، الإجابة عن الأسئلة — فمنهج المدخل أولاً يعمل بشكل ممتاز. يولّد النموذج مدخلاً معقولاً (مثل موضوع لمقال)، ثم يُنتج المخرج المقابل (المقال نفسه). هذا يُحاكي الطريقة الطبيعية التي تُستخدم بها هذه المهام عملياً.

لنصغ الفكرة رسمياً. بيانات التعليمات هي مجموعة تعليمات $\{I_t\}$، كل تعليمة $I_t$ تُعرّف مهمة $t$ بلغة طبيعية. لكل مهمة مثال واحد أو أكثر من أزواج المدخل والمخرج $\{(X_{t,i}, Y_{t,i})\}_{i=1}^{n_t}$. الهدف أن يتعلّم النموذج $M$ تحقيق الشرط التالي:

أما ضمان التنوع فيتم عبر عتبة ROUGE-L التي ترفض أي تعليمة جديدة $I_{\text{new}}$ يتجاوز تشابهها مع التعليمات الموجودة حداً معيناً:

قيّم المؤلفون Self-Instruct في إطارين: معايير مرجعية تلقائية وتقييم بشري متخصص.

معيار Super-NaturalInstructions. عند إجراء ضبط دقيق لـGPT-3 على البيانات المولَّدة ذاتياً (المسمّى GPT3$_{\text{SELF-INST}}$)، قفز مقياس ROUGE-L من 6.8 إلى 39.9 — أي تحسّن مطلق قدره 33.1 نقطة. هذا يقترب جداً من أداء InstructGPT-001 الذي سجّل 40.8 واعتمد على بيانات بشرية خاصة. بل تفوّق GPT3$_{\text{SELF-INST}}$ على GPT-3 المضبوط على بيانات T0 (37.9)، رغم أن جمع بيانات T0 تطلّب جهداً بشرياً كبيراً.

التقييم البشري على 252 مهمة جديدة. أعدّ المؤلفون 252 تعليمة عملية تغطي مجالات كالبريد الإلكتروني والبرمجة والترفيه والإنتاجية. قيّم خبراء الاستجابات وفق سلّم رباعي: A مُرضية، B أخطاء طفيفة، C أخطاء جوهرية، D غير ذات صلة. تفوّق GPT3$_{\text{SELF-INST}}$ على جميع النماذج المُدرَّبة على بيانات تعليمات عامة. والفارق مع InstructGPT-001 لم يتجاوز 5% عند احتساب التقييمين A وB معاً كنتائج مقبولة.

التوسّع والجودة. تحسّن الأداء باطّراد مع زيادة البيانات المولَّدة، لكن المكاسب استقرّت عند نحو 16 ألف تعليمة. وعند استبدال مخرجات النموذج بمخرجات InstructGPT-003 — وهو شكل من التقطير المعرفي — تحسّن الأداء بنسبة 10% إضافية، ما يدل على أن هناك مجالاً كبيراً لتحسين النتائج بمجرد رفع جودة المخرجات.

قالب الحثّ المستخدم لتوليد التعليمات بسيط بشكل يُدهشك. كل ما يحدث هو أن النموذج يرى قائمة بمهام موجودة ويُطلب منه إكمال النمط. السبب في نجاح هذا الأسلوب أن GPT-3 تدرّب على كمّ هائل من النصوص تشمل أوصاف مهام وشروحات تعليمية، فيستطيع تعميم نمط «هذه بعض المهام، ولّد مزيداً على شاكلتها».

استكشف المؤلفون محورين للتحسين: زيادة كمية البيانات وتحسين جودتها.

على محور الكمية، يتحسّن الأداء باطّراد من 175 تعليمة (البذور فقط) حتى نحو 16 ألف تعليمة، ثم تستقر المكاسب. هذه النتيجة تتّسق مع ما وجدته أبحاث أخرى في ضبط التعليمات: بضعة آلاف من التعليمات المتنوعة تكفي لتعليم النموذج البنية المطلوبة، والمزيد بنفس مستوى الجودة لا يُضيف كثيراً.

على محور الجودة، أجرى المؤلفون تجربة تقطير معرفي: أبقوا التعليمات والمدخلات كما هي لكن استبدلوا مخرجات GPT-3 بمخرجات من InstructGPT-003 — نموذج أقوى بكثير. النتيجة: تحسّن الأداء بنحو 10 نقاط مئوية. الرسالة هنا واضحة: القيمة الحقيقية لخط الأنابيب تكمن في توليد تعليمات ومدخلات متنوعة، أما المخرجات فيمكن تحسينها باستخدام نموذج معلّم أقوى.

قبل Self-Instruct، كان بناء نموذج يتّبع التعليمات يتطلب أحد مسارين مكلفين: إما الوصول إلى بيانات خاصة باهظة (كاستعلامات مستخدمي OpenAI)، أو تنظيم حملة تعهيد جماعي ضخمة (كالمهام الـ1,600+ في Super-NaturalInstructions). فتح Self-Instruct مساراً ثالثاً: دع النموذج يولّد بيانات تدريبه بنفسه. هذا التحوّل كان جذرياً لثلاثة أسباب.

أولاً، جعل ضبط التعليمات متاحاً للجميع. أيّ شخص يملك وصولاً لواجهة نموذج لغوي قادر يستطيع توليد مجموعة بيانات تعليماته الخاصة بنحو 600 دولار — بلا منصة تعهيد ولا موصِّفين خبراء ولا بيانات خاصة.

ثانياً، نقل مركز الثقل من حجم الجهد البشري إلى جودة تصميم البذور. المهام البذرية الـ175 أهم من أيّ مثال فردي مولَّد لأنها ترسم توزيع ما سيُنتَج لاحقاً. وتصميم 175 بذرة جيدة أسهل بمراحل من كتابة 50 ألف تعليمة يدوياً.

ثالثاً، كشف أن النماذج اللغوية المُدرَّبة مسبقاً تختزن معرفة بالمهام أكبر بكثير مما يوحي به أداؤها في وضع الصفر أمثلة. المعرفة مخزّنة في الأوزان — كل ما تحتاجه هو استنباطها بـموجِّه مناسب ثم تنظيمها عبر الضبط الدقيق.

زرع Self-Instruct بذرة — بالمعنى الحرفي — نمت لتصير واحدة من أكثر الأفكار تأثيراً في الذكاء الاصطناعي الحديث: أن النماذج اللغوية تستطيع تعليم نفسها. ما بدأ كتجربة بـ600 دولار و175 مهمة مكتوبة يدوياً صار اليوم الأساس الذي يبني عليه مجتمع المصادر المفتوحة نماذج اتّباع التعليمات. الإسهام الأهم لهذه الورقة ليس خط الأنابيب بعينه، بل إثبات أن عنق زجاجة البيانات يمكن كسره بالنموذج نفسه.