MuZero: إتقان ألعاب Atari وGo والشطرنج وShogi بالتخطيط عبر نموذج مُتعلَّم

قبل MuZero كان مجال التعلّم المعزّز يعاني من انقسام حاد بين اتجاهين لم يجد أيٌّ منهما طريقاً إلى الآخر.

الاتجاه الأول مثّله AlphaZero، الذي جمع بين التعلّم العميق وبحث شجرة مونت كارلو ليحقّق أداءً يفوق البشر في Go والشطرنج وشوغي. لكن AlphaZero كان مرتبطاً ارتباطاً وثيقاً بوجود محاكٍ مثالي — دالة تستقبل أي وضع على الرقعة وأي حركة قانونية فتُعيد الوضع التالي بدقة كاملة. في ألعاب اللوحات ذات القواعد المعروفة، هذا أمر بسيط. لكن في لعبة Atari تتعامل مع بكسلات، أو روبوت يتنقّل في غرفة مزدحمة، لا وجود لمثل هذه الدالة أصلاً.

الاتجاه الثاني مثّلته الأساليب الخالية من النموذج مثل DQN وR2D2، التي تتعلّم مباشرة من التجربة الخام دون أي نموذج لـالبيئة. نجحت هذه الأساليب في Atari وبيئات معقّدة أخرى، لكنها عاجزة عن التفكير المسبق — تتّخذ قراراتها لحظياً، خطوة بخطوة، دون أن تتخيّل ماذا سيحدث لاحقاً.

المحاولات السابقة في التعلّم المعزّز القائم على النموذج حاولت تعلّم محاكٍ كامل للبيئة يتنبّأ بكل بكسل في الإطار التالي. لكن التنبؤ على مستوى البكسلات مهمّة بالغة الصعوبة، والأخطاء الصغيرة تتراكم مع كل خطوة حتى يصبح النموذج المُتعلَّم غير موثوق للتخطيط.

بنية MuZero تقوم على ثلاث شبكات عصبية تعمل معاً كفريق متكامل. تخيّلها كثلاثة أقسام في مكتب تخطيط، لكل قسم دور محدّد:

دالة التمثيل $h$ تلعب دور المُلخِّص. تستقبل المشاهدة الخام من البيئة — سواء كانت وضعاً على رقعة Go أو شاشة بكسلات من Atari — وتضغطها في حالة خفية مُكثَّفة $s^0$. الأمر أشبه بمحلّل يُحوّل صورة فوتوغرافية إلى ملخّص موجز يحتفظ بكل ما يهمّ استراتيجياً ويتخلّص من الضجيج البصري. رسمياً: $s^0 = h(o_1, \ldots, o_t)$.

دالة الديناميكيات $g$ تلعب دور المُحاكي الذهني. تأخذ حالة خفية وإجراءً، فتتنبّأ بالحالة الخفية التالية والمكافأة الفورية. هذا هو البديل الذي يُقدّمه MuZero عن محرّك اللعبة — يتخيّل ما سيحدث دون أن يُنفّذ الإجراء فعلياً في البيئة الحقيقية. فكّر فيها كتمرين ذهني: «لو حرّكت الحصان إلى هنا، يصبح الوضع...» رسمياً: $r^k, s^k = g(s^{k-1}, a^k)$.

دالة التنبؤ $f$ تلعب دور المُقيِّم. انطلاقاً من أي حالة خفية، تُقدّر جودة الوضع (القيمة) وتحدّد الإجراءات الأكثر واعدية (السياسة). هذا هو الحدس الذي يوجّه البحث: «هذا وضع قوي، والحركة الأنسب هي...» رسمياً: $p^k, v^k = f(s^k)$.

القرار التصميمي الحاسم هنا أن الحالة الخفية $s^k$ غير مُطالَبة بإعادة بناء المشاهدة الأصلية. على خلاف نماذج العالم التقليدية التي تحاول التنبؤ بالإطارات المستقبلية بكسلاً ببكسل، فإن الحالة الخفية في MuZero حرّة في أن تُمثّل أيّ بنية تفيد في التنبؤ بالمكافأة والقيمة والسياسة. إشارة التدريب مصدرها بالكامل أهداف مرتبطة بالتخطيط، لا خسارة إعادة بناء.

لتوضيح الفكرة: لو طلبت من لاعب شطرنج أن يصف وضعاً على الرقعة، المبتدئ سيُصوّرها بالكاميرا، بينما الخبير يقول «الأبيض يملك بيدقاً متقدّماً على d6 مع قلعتين متّصلتين». وصف الخبير ناقص — لا يمكنك إعادة بناء الرقعة بالكامل منه — لكنه يحتوي كل ما يلزم للتخطيط.

عند كل نقطة قرار، لا يكتفي MuZero باختيار الإجراء ذي أعلى قيمة متوقّعة مباشرة. بل يُشغّل بحث شجرة مونت كارلو — آلية نظرة مُسبقة تبني شجرة بحث من المستقبلات المحتملة مستخدمةً النموذج المُتعلَّم.

تمرّ العملية بثلاث مراحل تتكرّر عشرات أو مئات المرات لكل حركة:

الانتقاء. تبدأ الخوارزمية من الحالة الحالية عند جذر الشجرة، وتنزل تدريجياً مختارةً إجراءات توازن بين الاستكشاف (تجريب إجراءات لم تُزَر كثيراً) والاستغلال (تفضيل إجراءات ذات قيمة مُقدَّرة عالية). معيار الانتقاء يعتمد صيغة PUCT التي تدمج القيمة المتوقَّعة مع مكافأة استكشافية للفروع الأقلّ زيارةً، مُرجَّحة بالاحتمال المُسبق الذي تُقدّره شبكة السياسة.

التوسيع. حين يصل المسار إلى عقدة ورقية — وضع لم يُستكشَف بعد — يستخدم MuZero دالة الديناميكيات $g$ لتخيُّل الحالة والمكافأة التاليتين، ثم دالة التنبؤ $f$ لتقييمهما. تُضاف العقدة الجديدة إلى الشجرة مع تقديراتها للسياسة والقيمة.

النشر العكسي. تُرسَل قيمة التقدير صعوداً عبر الشجرة، وتُحدَّث إحصاءات كل عقدة على المسار. بعد عدد كافٍ من المحاكاة، تعكس أعداد الزيارات عند الجذر مدى واعدية كل إجراء، ويُختار الإجراء النهائي بما يتناسب مع هذه الأعداد.

حلقة التدريب في MuZero تتكوّن من عمليتين متداخلتين تعملان بالتوازي: التفاعل مع البيئة والتعلّم من التجربة.

في مرحلة التفاعل، يخوض الوكيل مباريات (أو حلقات Atari) مستخدماً بحث شجرة مونت كارلو لاختيار الإجراءات. كل مباراة تُنتج مساراً يتضمّن المشاهدات والإجراءات والمكافآت وسياسات البحث وتقديرات القيمة. تُخزَّن هذه المسارات في ذاكرة إعادة التشغيل ذات الأولوية، بالأسلوب نفسه المُستخدم في إعادة تشغيل التجارب في DQN.

في مرحلة التعلّم، تسحب الخوارزمية مسارات من ذاكرة إعادة التشغيل وتفرد النموذج المُتعلَّم لعدد $K$ من الخطوات الافتراضية. تبدأ من مشاهدة حقيقية $o_t$، تُطبّق دالة التمثيل للحصول على $s^0$، ثم تُطبّق دالة الديناميكيات تكراراً مع الإجراءات الفعلية المُتَّخذة في المسار لتوليد حالات متوقَّعة $s^1, s^2, \ldots, s^K$. عند كل خطوة $k$ تُحسب ثلاث خسائر.

تفصيل مهم هنا: هدف القيمة يعتمد التعزيز بـ$n$ خطوة. في ألعاب اللوحات، يمتدّ التعزيز حتى نهاية المباراة فيستخدم نتيجة الفوز أو الخسارة الفعلية. أما في Atari، فيستخدم $n = 10$ خطوات من المكافآت المُلاحَظة مع تقدير قيمة مخصوم ناتج عن البحث:

$z_t = u_{t+1} + \gamma u_{t+2} + \cdots + \gamma^{n-1} u_{t+n} + \gamma^n v_{t+n}$

وللحفاظ على استقرار التدرّجات عبر خطوات الفرد الـ$K$، يُقيّس MuZero التدرّج عند كل خطوة بمعامل $1/K$. هذا يمنع الخطوات البعيدة عن الجذر من الهيمنة على إشارة التدريب.

اختُبر MuZero على فئتين مختلفتين تماماً من البيئات، ممّا كشف عن مدى عموميته.

ألعاب اللوحات (Go والشطرنج وشوغي). طابق MuZero أداء AlphaZero في الألعاب الثلاث كلّها — رغم أنه لم يُزوَّد بأي قاعدة من قواعد اللعبة. في Go مثلاً، حقّق تصنيف Elo يبعد نقاطاً قليلة فقط عن AlphaZero. استخدم مقدار الحوسبة نفسه لكل حركة (800 محاكاة من بحث شجرة مونت كارلو) لكنه استبدل المحاكي المثالي بدالة ديناميكياته المُتعلَّمة.

Atari (57 لعبة). حقّق MuZero أفضل نتائج مسجّلة على معيار Atari، متفوّقاً على أقوى أسلوب سابق خالٍ من النموذج (R2D2). ما جعل هذه النتيجة لافتة بشكل خاص أن الأساليب القائمة على النموذج عانت تاريخياً في بيئات Atari — فالمشاهدات على مستوى البكسلات وتنوّع آليات الألعاب يجعلانها أصعب بكثير من ألعاب اللوحات. أثبت MuZero أن نموذجاً مجرّداً مُتعلَّماً حين يقترن بـالتخطيط يستطيع التفوّق حتى على أفضل الأساليب التفاعلية.

أجرى المؤلفون دراسات استئصالية لقياس أثر كل مكوّن على حدة:

البحث وقت اتّخاذ القرار. حذف بحث شجرة مونت كارلو والاكتفاء بـشبكة السياسة وحدها أدّى إلى تراجع ملحوظ في الأداء، لا سيّما في ألعاب اللوحات. البحث يُوفّر آلية منهجية للتحسين فوق مستوى السياسة الحالية.

النموذج المُتعلَّم مقابل النموذج المثالي. حين استُبدلت دالة الديناميكيات المُتعلَّمة بمحاكٍ مثالي (في البيئات التي يتوفّر فيها)، كان التحسّن طفيفاً في ألعاب اللوحات — لأن النموذج المُتعلَّم كان دقيقاً بما يكفي أصلاً. وهذا يؤكّد أن النموذج المجرّد المُتعلَّم يلتقط الديناميكيات المرتبطة بالتخطيط.

عدد خطوات الفرد ($K$). التدريب بـ$K = 5$ خطوات مفرودة أعطى نتائج جيدة عبر مختلف البيئات. خطوات أقلّ لا تُوفّر إشارة تعلّم كافية، وخطوات أكثر تُراكم الأخطاء في نموذج الديناميكيات.

يُمثّل MuZero نقلة جوهرية في طريقة تفكيرنا حول التخطيط في الذكاء الاصطناعي. الأنظمة السابقة وضعت خطاً فاصلاً حاداً: إما أن تمتلك نموذجاً مثالياً للعالم (محرّكات الشطرنج، AlphaZero)، أو أن تتعلّم بدونه (DQN وأساليب تدرّج السياسة). ما أثبته MuZero هو أنه بالإمكان تعلُّم نموذج جيد بما يكفي للتخطيط — وأن هذا النموذج لا يحتاج أن يُعيد بناء الواقع، بل يكفيه أن يتنبّأ بعواقب الإجراءات بما يدعم اتّخاذ قرارات سليمة.

هذه الفكرة تتجاوز الألعاب بمراحل. أي مجال يحتاج فيه الوكيل إلى اتّخاذ قرارات متسلسلة — اللوجستيات، واكتشاف الأدوية، وتصميم الرقائق، وتخصيص الموارد — يمكن أن يستفيد من المنهج ذاته: تعلّم نموذج تنبّؤي مضغوط ثم التخطيط به عبر البحث. النموذج لا يحتاج أن يكون واقعياً بصرياً؛ يكفي أن يكون مرتبطاً بالقرار.

ما تركه MuZero للمجال هو البرهان على أن التخطيط بنموذج مُتعلَّم قادر على مطابقة التخطيط بنموذج مثالي بل تجاوزه. حسم هذا جدلاً ظلّ قائماً لعقود في التعلّم المعزّز: لا حاجة للاختيار بين الأساليب القائمة على النموذج والخالية منه. بإمكانك أن تتعلّم النموذج وتُخطّط به — بشرط أن تُدرّبه على التنبؤ بما يحتاجه التخطيط فعلاً.