نماذج اللغة2022متوسط10 دقيقة قراءة
STaR: تمهيد الاستدلال بالاستدلال
STaR: Bootstrapping Reasoning With Reasoning
Zelikman, E. · Wu, Y. · Mu, J. · Goodman, N.D. — NeurIPS
المشكلة
بحلول عام 2022، كان التوجيه بسلسلة التفكير قد أثبت أن مطالبة النماذج اللغوية بـ«التفكير خطوة بخطوة» يُحسّن أداءها في بشكل ملحوظ. لكن المشكلة كانت واضحة: إما أن تجمع آلاف التبريرات المكتوبة يدوياً من أجل — وهو أمر مكلف ومرتبط بمهمة محددة — أو أن تعتمد على التوجيه بأمثلة قليلة فقط، وهو ما يُعطي أداءً أقل بكثير من النماذج المضبوطة. لم تكن هناك طريقة قابلة للتوسّع لتعليم النموذج الاستدلال دون جهد بشري ضخم في التعليق التوضيحي.
الإسهام
قدّم STaR (المُستدِلّ المُعلَّم ذاتياً) طريقة تمهيد تكرارية: يُولّد النموذج اللغوي تبريرات بأسلوب سلسلة التفكير لمجموعة بيانات كاملة، ثم يحتفظ فقط بالتبريرات التي أدّت إلى إجابات صحيحة ويُضبط عليها. أما المسائل التي يفشل فيها، فيستخدم تقنية «التعليل العكسي» — حيث يُولّد تبريراً بعد إعطائه الإجابة الصحيحة كتلميح، ثم يُدرَّب وكأنه استنتج الحلّ بمفرده. بتكرار هذه الحلقة، وصل نموذج GPT-J ذو 6 مليارات معامل إلى دقة 72.5% على CommonsenseQA، مُعادِلاً أداء GPT-3 الأكبر بثلاثين مرة والمضبوط مباشرة، وحقّق تحسّناً كبيراً في الحساب ومعيار GSM8K.
الأثر
أرسى STaR نموذجاً جديداً في الاستدلال عبر التمهيد التكراري — فكرة أن النموذج يستطيع تعليم نفسه الاستدلال بشكل أفضل من خلال التعلّم من سلاسل تفكيره الناجحة. أثّر هذا النموذج مباشرةً في تطوير OpenAI o1 وDeepSeek-R1، اللذين يُوسّعان الاستدلال وقت الاختبار عبر التعلّم المعزّز على تبريرات يُولّدها النموذج بنفسه. أثبت STaR أن حتى النماذج المتواضعة الحجم تستطيع تحقيق أداء يفوق حجمها بكثير حين تُدرَّب على آثار استدلالها، مما فتح الباب أمام استدلال قابل للتوسّع دون الحاجة إلى تعليق توضيحي بشري.
تخيّل طاهية مبتدئة لا تُتقن سوى ثلاثة أطباق. يُعطيها مُدرّبها كتاب طبخ فيه آلاف الأطباق لكن بدون تعليمات — فقط صور للنتيجة النهائية.
تحاول الطاهية تحضير كل طبق بمهاراتها الحالية. حين ينجح الطبق، تُدوّن بالضبط ما فعلته — وصفتها الخاصة. وحين يفشل، يُريها المدرّب شكل الطبق النهائي، فتحاول أن تستنتج وصفة بالعكس انطلاقاً من النتيجة. تُضيف كلا النوعين من الوصفات إلى كتابها الشخصي وتتدرّب مجدداً.
بعد جولات قليلة، تصبح قادرة على طهي أطباق لم تكن تحلم بها — تعلّمَتها بالكامل من نجاحاتها ومن حلول استنتجتها بأسلوب عكسي. هذا هو STaR.
المشكلة: الاستدلال قوي لكن تعليمه مُكلف
أظهر التوجيه بسلسلة التفكير أن النماذج اللغوية تُحقّق أداءً أفضل بكثير حين تكتب خطوات استدلالها قبل الإجابة — سواء في الرياضيات أو الاستدلال بالمعرفة العامة أو تقييم الشفرات البرمجية. لكن المعضلة كانت جوهرية:
المسار الأول — الضبط الدقيق على تبريرات: تبني مجموعة بيانات ضخمة من المسائل مقترنة باستدلال بشري مكتوب خطوة بخطوة. النتائج جيدة لكن التكلفة هائلة: تحتاج آلاف التبريرات المكتوبة يدوياً، ولا تنتقل من مهمة إلى أخرى.
المسار الثاني — التوجيه بأمثلة قليلة: تعرض على النموذج حفنة من أمثلة الاستدلال في الموجّه. أرخص بكثير، لكن فجوة الدقة مقارنة بالنماذج المضبوطة كبيرة — تُضيّع أداءً كثيراً.
لم يكن أيٌّ من المسارين قابلاً للتوسّع. كان الميدان بحاجة إلى طريقة تحصل على جودة الضبط الدقيق بتكلفة التوجيه بأمثلة قليلة — أن تُضخّم عدداً صغيراً من أمثلة الاستدلال إلى آلاف، دون الحاجة لجيش من المُعلِّقين البشريين.
الفكرة: دع النموذج يُعلِّم نفسه الاستدلال
الفكرة المحورية في STaR هي أن الاستدلال الصحيح الذي يُولّده النموذج بنفسه يُعدّ بيانات تدريب صالحة. إذا أنتج النموذج تبريراً بأسلوب سلسلة التفكير ووصل إلى الإجابة الصحيحة، فهذا التبرير يستحقّ التعلّم منه — حتى لو لم يكتبه إنسان.
الخوارزمية حلقة بسيطة من أربع خطوات:
-
التوليد: وجِّه النموذج (مع أمثلة استدلال قليلة) لحلّ كل مسألة في مجموعة البيانات، مُنتجاً تبريراً خطوة بخطوة يتبعه إجابة.
-
الترشيح: احتفظ فقط بالتبريرات التي أدّت إلى الإجابة الصحيحة. تخلّص من البقية.
-
الضبط الدقيق: درِّب النموذج الأساسي على التبريرات الصحيحة المُرشَّحة.
-
التكرار: استخدم النموذج المُحسَّن لتوليد تبريرات جديدة أفضل. عُد إلى الخطوة 1.
في كل دورة، يحلّ النموذج مسائل أكثر، ويُولّد بيانات تدريب أكثر، ويصبح أفضل في الاستدلال. إنها دورة حميدة — التحسّن في الاستدلال يُنتج بيانات تدريب أفضل، والبيانات الأفضل تُنتج تحسّناً إضافياً.
التعليل العكسي: التعلُّم من الإخفاقات أيضاً
الحلقة الأساسية فيها قصور جوهري: النموذج لا يتدرّب إلا على المسائل التي يحلّها بالفعل. بمجرد أن يتوقّف عن حلّ مسائل جديدة، يتوقّف التحسّن. لا تصله أي إشارة تعلُّم من إخفاقاته.
يحلّ STaR هذه المشكلة بـالتعليل العكسي. لكل مسألة يُخطئ فيها النموذج، يحصل على فرصة ثانية: تُعطى له الإجابة الصحيحة كتلميح، ويُطلب منه أن يُولّد تبريراً يشرح لماذا هذه الإجابة صحيحة. هذا أشبه بالهندسة العكسية — إذا عرفتَ الوجهة، ابحث عن الطريق.
الحيلة الجوهرية: حين يُضاف هذا التبرير المُعلَّل عكسياً إلى مجموعة التدريب، يُحذف التلميح. يُدرَّب النموذج وكأنه توصّل إلى التبرير بنفسه. هذا يُجبره على استيعاب أنماط استدلال لمسائل كانت سابقاً خارج نطاق قدرته.
الرؤية الرسمية: STaR كتقريب لمُتدرِّج السياسة
قبل الدخول في الرياضيات، إليك الحدس: تخيّل النموذج كعميل يختار مساراً استدلالياً (التبرير) قبل إعطاء الإجابة النهائية. إذا كانت الإجابة صحيحة، يُكافأ المسار الاستدلالي. وإذا كانت خاطئة، يُستبعد. هذا بالضبط هيكل متدرِّج السياسة في التعلّم المعزّز — التبرير هو «الفعل»، والإجابة الصحيحة أو الخاطئة هي «المكافأة»، وSTaR يُحسّن السياسة لتوليد مسارات استدلالية تُنتج مكافآت أكثر.
الخوارزمية الكاملة
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
def star(model_base, dataset, few_shot_prompts, num_iterations):
"""STaR: حلقة التمهيد للمُستدِلّ المُعلَّم ذاتياً."""
model = copy(model_base)
for iteration in range(num_iterations):
correct_rationales = []
rationalized = []
for question, answer in dataset:
# الخطوة 1: ولِّد تبريراً بتوجيه أمثلة قليلة
prompt = few_shot_prompts + [question]
rationale, predicted = model.generate(prompt)
if predicted == answer:
# صحيح ← احتفظ بهذا التبرير المُولَّد ذاتياً
correct_rationales.append((question, rationale, answer))
else:
# خاطئ ← علِّل عكسياً: أعطِ الإجابة كتلميح
hint_prompt = few_shot_prompts + [question + f" (الإجابة: {answer})"]
rationale_hint, pred_hint = model.generate(hint_prompt)
if pred_hint == answer:
# خزِّن بدون التلميح — وكأن النموذج حلّها وحده
rationalized.append((question, rationale_hint, answer))
# الخطوة 3: اضبط النموذج الأساسي على جميع التبريرات الصحيحة
train_data = correct_rationales + rationalized
model = finetune(model_base, train_data) # دائماً من القاعدة!
return modelالنتائج: نموذج صغير وأداء كبير
قُيِّم STaR على ثلاثة مجالات باستخدام GPT-J (6 مليارات معامل) — وهو نموذج أصغر بكثير من أحدث النماذج في ذلك الوقت:
CommonsenseQA: وصل STaR إلى دقة 72.5%، قفزة هائلة من خط الأساس بالأمثلة القليلة (36.6%) ومن GPT-J المضبوط مباشرة (60.0%). عادل هذا نتيجة GPT-3 المضبوط البالغة 73.0% — رغم أن GPT-3 أكبر بثلاثين مرة بـ175 مليار معامل. تدرّب STaR على 86.7% فقط من البيانات (78.2% من توليد التبريرات و8.5% من التعليل العكسي).
الحساب: بعد 16 دورة، حقّق STaR دقة 89.5% في جمع الأعداد متعددة الأرقام، صعوداً من أداء قريب من الصفر بالأمثلة القليلة. مع التعليل العكسي، تعلّم النموذج أطوال أرقام متعددة في وقت واحد بدل التسلسل، بل عمّم على مسائل من 9 و10 أرقام لم يرها من قبل.
GSM8K (رياضيات المرحلة الابتدائية): تحسّن STaR من 3.1% (أمثلة قليلة) إلى 10.7% مع التعليل العكسي، مستخدماً 28.7% فقط من مجموعة البيانات. كثيراً ما وجد النموذج حلولاً أبسط من الحلول البشرية المرجعية، وأحياناً حلّ مسائل من سبع خطوات بخطوة واحدة.
جودة التبريرات: البشر يُفضّلون STaR
إلى جانب الدقة، طرح المؤلفون سؤالاً طبيعياً: هل تبريرات STaR جيدة فعلاً؟ لمعرفة ذلك، أجروا تقييماً بشرياً عبر منصة Prolific. عُرض على عشرين مُقيِّماً أسئلة مع ثلاثة تبريرات بترتيب عشوائي — واحد من التوجيه بأمثلة قليلة، وواحد من STaR، وواحد من مُعلِّقين بشريين — وطُلب منهم ترتيبها.
النتيجة كانت لافتة: فضّل المشاركون تبريرات STaR على تبريرات الأمثلة القليلة بنسبة 30% أكثر (p=0.039)، وفضّلوا STaR على التبريرات المكتوبة بشرياً بنسبة 74% أكثر (p‹0.001). يُنوّه المؤلفون إلى أن هذا يعكس على الأرجح صعوبة الحصول على تبريرات عالية الجودة من العمّال المُتعاقدين وليس تفوّقاً فوق بشري في الاستدلال، لكنه يُثبت أن عملية التمهيد تُحسّن فعلاً جودة التبريرات وليس الدقة فحسب.
لماذا تنجح: الدورة الحميدة
ينجح STaR بسبب التآزر بين التوليد والتدريب. تبريرات أفضل تُنتج إجابات صحيحة أكثر، وإجابات أكثر تُنتج بيانات تدريب أكثر، وبيانات أفضل تُنتج نموذجاً أقوى. كل مكوِّن يُعزّز الآخر:
توليد التبريرات يعمل كمُضخِّم للبيانات: عدد قليل من الأمثلة المكتوبة يدوياً يتحوّل إلى آلاف من آثار الاستدلال المُولَّدة ذاتياً. الفهم اللغوي المُسبق للنموذج يتولّى العبء الأكبر — فهو يعرف بالفعل حقائق وأنماطاً، يحتاج فقط أن يتعلّم كيف يسلسلها معاً.
الترشيح حسب الصحة يعمل كبوابة جودة: الاستدلال الذي يُؤدّي فعلاً إلى نتيجة صحيحة هو وحده الذي ينجو إلى مجموعة التدريب. هذا شكل بسيط لكنه قوي من المكافأة — الإجابة تعمل كمُحقّق تلقائي.
التعليل العكسي يعمل كمُوسِّع للمنهج: يُدخل مسائل صعبة إلى مجموعة التدريب لم يكن النموذج ليواجهها بخلاف ذلك، مما يمنع الحلقة من الركود على مسائل سهلة يحلّها أصلاً.
ما فتحه STaR
2022
STaR — المُستدِلّ المُعلَّم ذاتياً
تمهيد تكراري للاستدلال من أمثلة قليلة. نموذج بـ6 مليارات يُعادل نموذجاً بـ175 ملياراً على CommonsenseQA. أول طريقة تسمح لنموذج لغوي كبير بتحسين نفسه عبر استدلاله الخاص.
2023
ReST — التدريب الذاتي المُعزَّز
وسّع مقاربة STaR بإطار تعلّم مُعزّز صريح، مستخدماً توليداً مُرشَّحاً بالمكافأة لمهام الرياضيات والبرمجة مع أخذ عيّنات بدرجة حرارة أقوى.
2024
Quiet-STaR — التفكير قبل التحدّث
من المؤلفين أنفسهم: يُولّد النموذج تبريرات داخلية عند *كل* رمز، وليس فقط حين يُطلب منه. يُعمِّم STaR من مهام محددة إلى نمذجة اللغة العامة.
2024
OpenAI o1
يُوسّع الاستدلال وقت الاختبار بسلاسل تفكير مخفية مُدرَّبة بالتعلّم المعزّز. الصلة بين حلقة التبريرات المُحسَّنة ذاتياً في STaR والتفكير الموسّع في o1 مباشرة.
2025
DeepSeek-R1
يُثبت أن الاستدلال يمكن أن ينبثق من تعلّم مُعزّز بحت على مهام استدلالية دون ضبط دقيق مُشرَف. نموذج التحسين الذاتي الذي ريّادته STaR يُؤخذ إلى نتيجته المنطقية.
أعمق إسهام لـ STaR ليس رقماً على معيار — إنه نموذج فكري. قبل STaR، كان تحسين الاستدلال يتطلّب تعليقات بشرية أكثر. بعد STaR، أصبح السؤال: كيف نبني أنظمة يُحسّن فيها الاستدلال الاستدلال؟ هذه الحلقة ذاتية المرجعية — نموذج يستخدم مخرجاته ليتحسّن في الشيء الذي يُنتج تلك المخرجات — هي البذرة التي نمت لتُصبح أنظمة الذكاء الاصطناعي الحديثة المُركَّزة على الاستدلال مثل o1 وR1.
المرجعZelikman, Wu, Mu, Goodman. STaR: Bootstrapping Reasoning With Reasoning. NeurIPS, 2022.
مصطلحات هذه الورقة
- المبررRationale
- التمهيد الذاتيBootstrapping
- الضبط الدقيقFine-Tuning
- التعلّم بأمثلة قليلةFew-Shot Learning
- التحسين الذاتيSelf-Improvement
- الاستدلالReasoning
- تدرج السياسة التشغيليةPolicy Gradient
- التعلم في السياقIn-Context Learning
- استدلال الحس السليمCommonsense Reasoning