كيف تتعلّم النماذج اللغوية الكبيرة الاستدلال

نماذج مثل GPT-4o تولّد النص رمزًا تلو الآخر في تمريرة أمامية واحدة من اليسار إلى اليمين. هذا ما يُسمّيه دانيال كانمان تفكير النظام الأول: سريع، بديهي، تلقائي. في الأسئلة اليومية يعمل بكفاءة عالية، لكن في المسائل التي تحتاج استدلالًا عميقًا — كبرهان متعدد الخطوات أو شفرة معقّدة أو لغز خوارزمي — يضطر النموذج إلى الالتزام بكل رمز لحظة توليده، دون أي فرصة للتخطيط المسبق أو المراجعة أو التراجع.

النتيجة واضحة: في رياضيات المسابقات (AIME 2024) لم يحلّ GPT-4o سوى 12% من المسائل. وفي أسئلة العلوم على مستوى الدكتوراه (GPQA Diamond) سجّل نحو 50% فقط. وأصبح تكبير النماذج وزيادة البيانات يُحقّق عوائد متناقصة على معايير الاستدلال هذه.

الفكرة الأساسية في o1 هي الانتقال من تفكير النظام الأول إلى تفكير النظام الثاني. بدلًا من أن يُجيب النموذج فورًا، يكتب أولًا سلسلة تفكير ممتدة — أثر استدلالي داخلي قد يمتد لمئات أو آلاف الرموز. ومن خلال التعلّم المعزّز يكتشف النموذج بنفسه استراتيجيات تفكير فعّالة:

• اكتشاف الأخطاء وتصحيحها — يلتقط النموذج أخطاءه أثناء الاستدلال ويعود لتصحيح مساره.
• تفكيك الخطوات الصعبة — يحوّل المسألة المعقّدة إلى مسائل فرعية أبسط يسهل التعامل معها.
• تجريب طرق بديلة — حين تفشل طريقة ما ينتقل النموذج إلى أخرى.

النقطة الجوهرية أنّ لا أحد كتب هذه الاستراتيجيات يدويًا. خوارزمية التعلّم المعزّز — التي دُرِّبت على مسائل يمكن التحقّق من صحّة إجاباتها — هي التي علّمت النموذج اكتشافها بنفسه. وهذا يعني أنّ النموذج لا يحتاج إلى كمّيات ضخمة من بيانات الاستدلال، لأنه يتعلّم كيف يفكّر لا مجرّد ماذا يحفظ.

لنأخذ مثالًا عمليًا يوضّح كيف تعمل سلسلة التفكير. تأمّل لغز تشفير: حين يرى GPT-4o الرسالة المشفّرة يحاول فورًا تحديد النمط — لكنه يُخطئ التخمين ثم يستسلم ويطلب المساعدة من المستخدم.

o1 يتعامل مع المسألة ذاتها بأسلوب مختلف تمامًا. يتوقّف خمس ثوانٍ ويختبر الفرضيات بشكل منهجي: هل كلمات النص المشفّر ضعف طول كلمات النص الأصلي؟ هل متوسط كل زوج من الحروف يُعطي الحرف الصحيح؟ يكتشف قاعدة التشفير — كل حرف أصلي هو متوسط حرفين مشفّرين — ثم يتحقّق منها على المثال المُعطى ويُطبّقها لفكّ الشفرة: «THERE ARE THREE R'S IN STRAWBERRY».

هذه مهمة عجز GPT-4o عن حلّها أصلًا. ما فعلته سلسلة التفكير هو أنّها منحت o1 ذاكرة عاملة يستطيع فيها أن يُجرّب ويتحقّق ويُطبّق استراتيجية فكّ التشفير — وهي العملية نفسها التي يتّبعها أي إنسان يحلّ الألغاز.

قُيِّم o1 على مجموعة متنوّعة من معايير الاستدلال الصعبة، وجاءت التحسينات مقارنةً بـ GPT-4o كبيرة جدًا:

• الرياضيات التنافسية (AIME 2024): حلّ GPT-4o نسبة 12% من المسائل، بينما حلّ o1 نسبة 83.3% باستخدام أخذ الإجماع — ممّا وضعه ضمن أفضل 500 طالب في الولايات المتحدة وفوق حدّ القبول في أولمبياد الرياضيات الأمريكي USAMO.
• العلوم على مستوى الدكتوراه (GPQA Diamond): سجّل o1 نسبة 78% في الكيمياء والفيزياء والأحياء — متجاوزًا خبراء بشريين حاملي الدكتوراه للمرة الأولى على هذا المعيار.
• البرمجة التنافسية (Codeforces): وصل o1 إلى المئين 89 (بتصنيف Elo يبلغ 1673) بعد أن كان GPT-4o عند المئين 11 فقط. ونسخة مضبوطة خصّيصًا لأولمبياد المعلوماتية الدولية بلغت المئين 93.
• MMMU (رؤية + استدلال): سجّل o1 نسبة 78.2%، وهو أول نموذج ينافس الخبراء البشريين على معيار الاستدلال متعدّد الوسائط هذا.

لكنّ o1 ليس أفضل في كل شيء. في بعض مهام اللغة الطبيعية — حيث تكفي إجابة سريعة وبديهية — فضّل المُقيِّمون البشريون GPT-4o. والعبرة أنّ تفكير النظام الثاني قويّ لكنّه ليس ضروريًا دائمًا.

الاستدلال عبر سلسلة التفكير يفتح بابًا جديدًا لتعزيز الأمان. حين يكتب النموذج خطوات تفكيره واحدة تلو الأخرى يصبح بإمكاننا قراءة ما يدور داخله — كأنّنا ننظر من نافذة إلى عقله. استغلّت OpenAI هذه الميزة بدمج سياسات الأمان مباشرةً في سلسلة التفكير، فتعلّم o1 أن يُحلّل قواعد الأمان ضمن سياق كل سؤال.

النتائج كانت لافتة: في تقييمات كسر الحماية سجّل o1-preview نسبة 93.4% ردودًا آمنة على أسئلة عدائية صعبة، مقابل 71.4% لـ GPT-4o. وعلى معيار StrongREJECT حقّق o1-preview درجة 0.84 مقابل 0.22 لـ GPT-4o. والأهم أنّ تحسين الأمان لم يأتِ على حساب الرفض المفرط — بل كان o1 أيضًا أكثر تعاونًا في الحالات الحدّية غير الضارّة.

اختارت OpenAI ألّا تعرض سلسلة التفكير الخام على المستخدمين، وبدلًا من ذلك تعرض ملخصًا يولّده النموذج. هذا القرار يوازن بين ثلاثة اعتبارات:

• مراقبة الأمان. سلسلة التفكير المخفية تمنح الباحثين فرصة قراءة استدلال النموذج كما هو دون تصفية، ورصد أي مؤشّرات على تلاعب أو خداع أو انحراف عن المحاذاة — دون أن يتعلّم النموذج تجميل أفكاره أمام الجمهور.
• حرية التفكير. لو علم النموذج أنّ أفكاره مكشوفة للمستخدمين فقد يتعلّم أن يُمثّل أمام الجمهور بدل أن يستدلّ بصدق. إبقاء الأفكار خاصّة يحافظ على نزاهة عملية الاستدلال.
• اعتبارات تنافسية. تحتوي سلسلة التفكير على تفاصيل استراتيجيات تعلّمها النموذج وتمثّل استثمارًا بحثيًا كبيرًا.

لكنّ الثمن هو الشفافية: لا يستطيع المستخدمون التحقّق من الاستدلال الذي أدّى إلى الإجابة. وللتعويض جزئيًا، دُرِّب o1 على نقل الأفكار المفيدة من سلسلة التفكير المخفية إلى إجابته النهائية المرئية.

كيف يتعلّم النموذج الاستدلال؟ الآلية تمرّ بثلاث مراحل في كل دورة تدريب. أولًا، يتلقّى النموذج مسألة — سؤال رياضي أو تحدٍّ برمجي أو مسألة علمية — تكون إجابتها قابلة للتحقّق الموضوعي. ثانيًا، يولّد النموذج سلسلة تفكير طويلة تنتهي بإجابة نهائية. ثالثًا، تُراجَع الإجابة: الإجابة الصحيحة تحصل على إشارة مكافأة إيجابية، والخاطئة تحصل على إشارة سلبية.

بعد ملايين الدورات من هذا النوع، تبدأ خوارزمية التعلّم المعزّز في تشكيل سلوك النموذج أثناء التفكير. الاستراتيجيات التي تقود إلى إجابات صحيحة — كالتفكيك المنهجي ومراجعة الأخطاء وتجريب البدائل — تتعزّز. أمّا الاستراتيجيات التي تؤدّي إلى إجابات خاطئة — كالتسرّع وتخطّي التحقّق والتمسّك بمسار فاشل — فتُكبَت تدريجيًا.

الأهم من ذلك أنّ OpenAI أفادت بأنّ هذه العملية لا تحتاج كمّيات ضخمة من البيانات. لا يلزم النموذج تريليونات الرموز من أمثلة الاستدلال. بل يتعلّم كيف يستدلّ من مجموعة صغيرة نسبيًا من المسائل القابلة للتحقّق — ثم يُعمِّم هذه المهارة على مجالات جديدة.

المسار من التوجيه بسلسلة التفكير إلى o1 يعكس نمطًا يتكرّر في الذكاء الاصطناعي: تقنية تبدأ كحيلة ذكية (هندسة الموجّهات) ثم تُدمَج داخل النموذج نفسه عبر التدريب. ما كان المستخدمون يطلبونه من النموذج يدويًا أصبح يفعله تلقائيًا — وبشكل أفضل، لأنّه حُسِّن من طرف إلى طرف لهذا الغرض.