Advanced LLMs & Reasoning2022متوسط10 دقيقة قراءة
الاتّساق الذاتي يُحسّن الاستدلال بسلسلة التفكير في النماذج اللغوية
Self-Consistency Improves Chain of Thought Reasoning in Language Models
Wang, X. · Wei, J. · Schuurmans, D. · Le, Q. · Chi, E. H. · Narang, S. · Chowdhery, A. · Zhou, D. — ICLR
المشكلة
أثبتت تقنية أن النماذج اللغوية الكبيرة تستطيع حلّ مسائل المعقّدة حين تُوَلّد خطوات وسيطة قبل الإجابة. المشكلة أن الطريقة المعتادة تعتمد على فكّ الترميز الجشع: في كل خطوة يختار النموذج الرمز الأرجح فقط، فتحصل على مسار استدلال واحد لا غير. إن وقع خطأ في أي نقطة من هذا المسار، تكون الإجابة النهائية خاطئة ولا توجد فرصة للتصحيح. فكّ الترميز الجشع أيضاً يقع بسهولة في التكرار والحلول المحلية، ويتجاهل حقيقة جوهرية: معظم مسائل لها أكثر من طريقة حلّ صحيحة.
الإسهام
استراتيجية فكّ ترميز جديدة باسم «» تستبدل فكّ الترميز الجشع في سلسلة التفكير. الفكرة بسيطة: خُذ عيّنات متنوعة من مسارات الاستدلال، ثم اختر الإجابة التي اتّفقت عليها الأغلبية. لا تحتاج الطريقة أيّ إضافي ولا ضبطاً دقيقاً ولا نماذج تحقّق ولا تعليقات بشرية. عند تطبيقها مع PaLM-540B وGPT-3، حقّقت تحسينات كبيرة: +17.9% على GSM8K، و+11.0% على SVAMP، و+12.2% على AQuA، و+6.4% على StrategyQA، و+3.9% على ARC-challenge.
الأثر
رسّخت هذه الورقة مبدأ «وَلِّد عدّة محاولات ثم اجمع نتائجها» كأسلوب أساسي لتحسين قدرات الاستدلال في النماذج اللغوية. الرسالة المحورية: التنوّع في مسارات التفكير نقطة قوة وليس تشويشاً. ألهمت هذه الورقة مباشرةً تقنية شجرة الأفكار التي تُنظّم عملية الاستكشاف بشكل أعمق، وأسّست لمفهوم الذي تبنّته أنظمة مثل OpenAI o1. اليوم، أصبح على مسارات استدلال متعدّدة أداةً أساسية في أيّ نظام استدلال مبني على نماذج لغوية كبيرة.
تخيّل أنك ضائع في مدينة غريبة وسألت خمسة أشخاص عن الطريق إلى محطة القطار. كل واحد يعطيك وصفاً مختلفاً — هذا يقول امشِ عبر الحديقة، وذاك يقول حاذِ الكاتدرائية، والثالث يقول امشِ مع النهر. الطرق مختلفة، لكن لو أربعة من الخمسة أوصلوك لنفس المبنى، ستثق أنه المحطة فعلاً.
هذا هو مبدأ الاتّساق الذاتي. بدل أن تعتمد على إجابة واحدة من ، تأخذ عدّة مختلفة وتثق في الإجابة التي اتّفقت عليها الأغلبية عبر التصويت بالأغلبية.
المشكلة: الاعتماد على محاولة واحدة فقط
كانت تقنية سلسلة التفكير خطوة كبيرة للأمام: حين تُعطي أمثلة فيها خطوات حلّ واضحة، يتعلّم أن يُولّد خطوات استدلال وسيطة بنفسه قبل أن يعطيك الإجابة. خُذ مثلاً هذه المسألة: «بطّات جانيت تبيض 16 بيضة يومياً. تأكل 3 على الفطور وتستعمل 4 في الخَبز. تبيع الباقي بدولارين للواحدة. كم تكسب في اليوم؟» — النموذج لا يرمي رقماً مباشرة، بل يمرّ بسلسلة خطوات حسابية ليصل للجواب.
المشكلة أن الأسلوب التقليدي يعتمد على فكّ الترميز الجشع: في كل خطوة يختار النموذج الأعلى احتمالاً فقط، فتحصل على سلسلة استدلال واحدة. لو وقع خطأ في أي نقطة — مثلاً حسب 16 − 4 − 3 = 26 بدل 16 − 3 − 4 = 9 — تضيع الإجابة ولا توجد فرصة ثانية.
الملاحظة الذكية في هذه الورقة: مسائل الاستدلال عادةً لها أكثر من طريقة حلّ صحيحة. طالب يحسب 16 − 3 − 4 خطوة بخطوة، وآخر يجمع 3 + 4 = 7 أولاً ثم يطرح 16 − 7 = 9، وثالث يفكّر بالنسب. الطرق مختلفة لكنها كلها تصل لنفس الجواب الصحيح. فكّ الترميز الجشع يتجاهل هذا التقارب تماماً لأنه يلتزم بمسار واحد.
الطريقة: وَلِّد عدّة محاولات، ثم صوِّت
الاتّساق الذاتي يعمل في ثلاث خطوات مباشرة. الخطوة 1 — التلقين: استخدم نفس التي تستخدمها في سلسلة التفكير العادية، بدون أي تعديل. الخطوة 2 — توليد عدّة مسارات: بدل فكّ الترميز الجشع، وَلِّد عدّة إجابات مستقلة من النموذج باستخدام ، أو ، أو . كل محاولة تُنتج مسار استدلال مختلفاً قد يصل لإجابة مختلفة. الخطوة 3 — التصويت: استخرج الإجابة النهائية من كل مسار، ثم طبِّق التصويت بالأغلبية — الإجابة التي تكرّرت أكثر هي الفائزة.
البساطة هنا مقصودة. لا نماذج إضافية، ولا نماذج تحقّق، ولا إعادة ترتيب، ولا ، ولا تعليقات بشرية. الطريقة تعمل مع أي كاستراتيجية بحتة عند الاستدلال.
الصياغة الرياضية: كيف نتجاهل تفاصيل المسار ونركّز على النتيجة
رياضياً، يمكن النظر إلى الاتّساق الذاتي على أنه يُدخل في عملية التوليد. في كل محاولة، يُولّد النموذج زوجاً (rᵢ, aᵢ): المسار rᵢ هو سلسلة الخطوات التي اتّبعها النموذج للوصول إلى الحل، والإجابة aᵢ هي النتيجة النهائية المُستخرَجة من نهاية ذلك المسار. بعد توليد m زوج من هذا النوع، نتجاهل تفاصيل المسارات كلّياً ونحتفظ فقط بالإجابات — ثم نختار الإجابة الأكثر تكراراً.
جرّب المؤلفون أيضاً ترجيح كل إجابة حسب احتمال توليدها بدل المساواة بينها. النتيجة المفاجئة: الأداء مشابه تقريباً لـالتصويت البسيط بالأغلبية. السبب أن النموذج يمنح احتمالات متقاربة للمسارات الصحيحة المختلفة — أي أنه يراها «متساوية الاحتمال تقريباً». لذلك التصويت البسيط يكفي وهو أسهل في التنفيذ.
النتائج: مكاسب ثابتة عبر المهام والأحجام
اختبر المؤلفون الاتّساق الذاتي على أربعة نماذج لغوية (UL2-20B وLaMDA-137B وGPT-3-175B وPaLM-540B) في مهام (GSM8K وSVAMP وAQuA وMultiArith وAddSub وASDiv) ومهام (CommonsenseQA وStrategyQA وARC).
الأرقام تتحدّث عن نفسها. على GSM8K مثلاً، قفز أداء PaLM-540B من 56.5% مع سلسلة التفكير التقليدية إلى 74.4% مع الاتّساق الذاتي — فارق يقارب 18 نقطة مئوية. على AQuA ارتفع GPT-3 code-davinci-002 من 39.8% إلى 52.0%. وعلى StrategyQA تحسّن PaLM-540B من 75.3% إلى 81.6%. اللافت أن هذه التحسينات تفوق ما حقّقه تدريب نماذج تحقّق مخصّصة، مع أن الاتّساق الذاتي لا يحتاج أي تدريب إضافي.
نمطان واضحان في النتائج. أولاً: التحسين أكبر في المهام الأصعب حيث يكون أداء فكّ الترميز الجشع ضعيفاً — المجال أوسع لتعدّد المسارات لتصحيح الأخطاء. ثانياً: التحسين يكبر مع حجم النموذج — النماذج الأكبر تُولّد مسارات استدلال أعلى جودة، فيصبح التنوّع أكثر فائدة.
كلّما زادت المسارات، تحسّنت الإجابات
كم مساراً نحتاج حتى تظهر الفائدة؟ درس المؤلفون العلاقة بين عدد مسارات الاستدلال و. النمط واضح: تقفز الدقة بسرعة بين مسار واحد و10 مسارات، ثم يستمر التحسّن لكن بوتيرة أبطأ حتى 40 مساراً. حتى 5 مسارات فقط تعطي قفزة ملموسة مقارنة بـفكّ الترميز الجشع — ما يجعل الطريقة عملية حتى بموارد حسابية محدودة.
هذا المنحنى يقول شيئاً مهمّاً: الفائدة ليست من «عيّنة محظوظة» تصادف الجواب الصحيح، بل من البنية الإحصائية للمسألة نفسها. كلّما زاد عدد المسارات، يرتفع احتمال أن تكون إجابة الأغلبية هي الصحيحة — ارتفاعاً رتيباً. عملياً، بين 10 و20 مساراً تحصل على الجزء الأكبر من الفائدة.
المقارنات: لماذا لا يكفي البحث الشعاعي أو إعادة الترتيب؟
الورقة قارنت الاتّساق الذاتي بعدّة بدائل، والنتائج تستحقّ التأمّل. أخذ العيّنات ثم الترتيب يُولّد عدّة مخرجات ثم يختار المخرج ذا الاحتمال اللوغاريتمي الأعلى. يُحسّن الأداء قليلاً لكن بفارق كبير عن الاتّساق الذاتي — لأنه في النهاية يختار مساراً واحداً ولا يستفيد من توافق عدّة مسارات على نفس الإجابة.
أضعف. رغم أن الأشعة مصمَّمة لتكون متنوعة نظرياً، إلا أن مخرجاته عملياً تتشابه كثيراً. التنوّع الذي يحتاجه الاتّساق الذاتي هو بالضبط ما يقمعه البحث الشعاعي.
يُعيد ترتيب الأمثلة في التلقينة عشوائياً ويأخذ تصويت الأغلبية من مخرجات فكّ الترميز الجشع. هذا يلتقط حساسية النموذج لترتيب الأمثلة، لكنه لا يُنوّع عملية الاستدلال نفسها. الاتّساق الذاتي بأربعين مساراً تفوّق على أربعين تبديلاً بفارق واسع (27.7% مقابل 19.2% على GSM8K مع LaMDA-137B).
حتى تجميع نماذج مختلفة (تصويت بالأغلبية على مخرجات من عدّة نماذج لغوية) أدّى أداءً أضعف من الاتّساق الذاتي على نموذج واحد، لأن النماذج الأضعف في المجموعة تسحب المتوسط للأسفل.
المتانة: تعمل بدون ضبط دقيق للإعدادات
من أجمل خصائص الاتّساق الذاتي أنه لا يحتاج ضبطاً دقيقاً. يعمل مع طرق أخذ عيّنات مختلفة — الحرارة عند T=0.3 و0.5 و0.7، وأعلى‑k عند k=20 أو k=40، وأخذ العيّنات النواتية عند p=0.9 أو p=0.95 — وفي جميع الحالات يحقّق تحسينات واضحة. لا حاجة للبحث المُضني عن أفضل إعداد.
بل حتى لو كانت أمثلة في التلقينة تحتوي أخطاء في الخطوات الوسيطة (لكن الإجابة النهائية صحيحة)، يظلّ الاتّساق الذاتي يُحسّن النتائج. على GSM8K مع LaMDA-137B، سجّلت التلقينات المعيبة مع فكّ الترميز الجشع نسبة 14.9%، لكن بإضافة الاتّساق الذاتي ارتفعت إلى 23.4%.
والأجمل أن الطريقة تعمل حتى مع ، حيث تُكتب في التلقينة عبارة «دعنا نفكّر خطوة بخطوة» فقط. على GSM8K مع PaLM-540B، حقّقت سلسلة التفكير بدون أمثلة 43.0% — ومع الاتّساق الذاتي قفزت إلى 69.2%، أي أكثر من 26 نقطة مئوية إضافية.
وربّما الأهم: مستوى الاتّساق نفسه (أي نسبة المسارات التي اتّفقت على نفس الإجابة) يرتبط بقوة بـالدقة. يعني ذلك أن الاتّساق الذاتي يمنحك مقياس ثقة مجاني: حين يكون الاتّساق منخفضاً، النموذج على الأرجح غير متأكّد. كأنّ الطريقة تُعطي النموذج القدرة على أن يقول «لا أعرف».
الاتّساق كمؤشر للثقة
الاتّساق الذاتي لا يُحسّن الدقة فحسب، بل يكشف أيضاً عن مدى ثقة النموذج في إجابته. حين رسم المؤلفون العلاقة بين نسبة الاتّساق (كم نسبة المسارات التي اتّفقت على نفس الإجابة) والدقة الفعلية، ظهر ارتباط قوي جداً: الأسئلة التي تتّفق عليها 90% أو أكثر من المسارات تكون إجابتها صحيحة في الغالب الأعم، بينما الأسئلة ذات الاتّساق المنخفض تكون أكثر عرضة للخطأ.
الفائدة العملية واضحة: يمكن لأي نظام يستخدم الاتّساق الذاتي أن يُعلِّم الإجابات منخفضة الثقة لمراجعة بشرية، أو يحوّلها لنموذج أقوى، أو ببساطة يُنبّه المستخدم أن النموذج غير واثق. ودرجة الاتّساق هذه تأتي مجاناً كناتج ثانوي للطريقة — بدون أي إضافية.
الأثر: من الاتّساق الذاتي إلى حوسبة وقت الاستدلال
2022
تلقين سلسلة التفكير (CoT)
أثبت وِي وزملاؤه أن إعطاء النموذج أمثلة تتضمّن خطوات حلّ متسلسلة يُمكّنه من الاستدلال متعدد الخطوات. كان الأسلوب الافتراضي هو فكّ الترميز الجشع.
2022
الاتّساق الذاتي (هذه الورقة)
استبدلت فكّ الترميز الجشع بتوليد عدّة مسارات ثم التصويت بينها. أثبتت أن التنوّع في طرق الاستدلال نقطة قوة وليس ضجيجاً — وأسّست لمفهوم «حوسبة وقت الاستدلال».
2023
شجرة الأفكار (ToT)
طوّر ياو وزملاؤه الفكرة بتنظيم الاستكشاف على شكل شجرة تسمح بالتراجع وتقييم الأفكار الجزئية والبحث المنهجي عن أفضل مسار استدلال.
2024
OpenAI o1 وتوسيع حوسبة وقت الاستدلال
طبّق OpenAI o1 هذا المبدأ على نطاق واسع — يُنفق حوسبة أكثر عند الاستدلال ليفكّر في المسائل عبر سلاسل تفكير داخلية، انطلاقاً من نفس الملاحظة: كلّما زادت محاولات التفكير، تحسّنت جودة الإجابة.
أثبتت هذه الورقة مبدأً بسيطاً لكنه عميق الأثر: يمكنك أن تستبدل مزيداً من الحوسبة عند الاستدلال بدقّة أعلى. هذا النموذج — حوسبة وقت الاستدلال — أي إنفاق حسابات أكثر عند التنبّؤ بدل التدريب — أصبح من أنشط اتّجاهات البحث في الذكاء الاصطناعي اليوم. كل نظام يُولّد عدّة سلاسل استدلال ويُجمّع إجاباتها — من مساعدي البرمجة إلى حلّ المسائل الرياضية — يعود بجذوره الفكرية إلى هذه الورقة.
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
from collections import Counter
def self_consistency(model, prompt, question, n_paths=40, temperature=0.7):
"""خُذ n_paths سلسلة استدلال ثم أعِد إجابة الأغلبية."""
answers = []
for _ in range(n_paths):
# الخطوة 1 و2: خُذ عيّنة مسار استدلال بحرارة أعلى من صفر
output = model.generate(prompt + question, temperature=temperature)
# استخرج الإجابة النهائية من مسار الاستدلال
answer = parse_answer(output) # مثلاً: استخرج النص بعد "الإجابة هي"
answers.append(answer)
# الخطوة 3: التصويت بالأغلبية
vote_counts = Counter(answers)
best_answer = vote_counts.most_common(1)[0][0]
confidence = vote_counts[best_answer] / n_paths # درجة الاتّساق
return best_answer, confidenceالمرجعWang, Wei, Schuurmans, Le, Chi, Narang, Chowdhery, Zhou. Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR, 2023.
مصطلحات هذه الورقة
- الاتّساق الذاتيSelf-Consistency
- سلسلة التفكيرChain of Thought
- فك الترميز الجشعGreedy Decoding
- اختيار العينات الاحتماليةSampling
- التصويت بالأغلبيةMajority Vote
- الاستدلالReasoning
- الحرارةTemperature
- الاستدلال الحسابيArithmetic Reasoning
- استدلال الحس السليمCommonsense Reasoning
- معاينة النواة الاحتماليةNucleus Sampling
- بحث الحزمةBeam Search
- النماذج التجميعية الهجينةEnsemble
- التحفيز بأمثلة قليلةFew-Shot Prompting
- النموذج اللغويLanguage Model