عُد أولاً، ثم استكشِف

التعلّم المعزّز حقّق أداءً يفوق البشر في Go وStarCraft II وDota II — لكن كل هذه النجاحات اعتمدت على مكافآت كثيفة ومُشكَّلة بعناية تُعطي تغذية راجعة مستمرة. في كثير من المسائل العملية تكون المكافآت نادرة: تخيّل روبوتاً منزلياً لا يحصل على مكافأة إلا لحظة وضع الكوب في الخزانة بنجاح، وقبل ذلك عليه تنفيذ مئات الحركات الدقيقة دون أيّ إشارة توجّهه. وقد تكون المكافآت مُضلِّلة أيضاً: السير نحو أقرب مكافأة ظاهرة قد يقود الروبوت إلى طريق مسدود.

الحلّ المعتاد لمشكلة المكافأة النادرة هو التحفيز الذاتي — أي منح الوكيل مكافآت داخلية كلّما زار حالة جديدة، كأنّنا نكافئه على فضوله. أساليب مثل وحدة الفضول الذاتي ICM وتقطير الشبكة العشوائية RND أحرزت تقدّماً، لكنها لا تزال تفشل على أصعب المعايير المرجعية.

ما ميّز Go-Explore هو أنه لم يُقدّم حلاً فحسب، بل شخّص سبب الفشل أولاً، وحدّده في نمطَي إخفاق واضحين: الانفصال والانحراف.

فكرة Go-Explore بسيطة بشكل لافت، وتقوم على ثلاثة مبادئ:

1. تذكّر — يحتفظ الخوارزمية بـأرشيف يضمّ كل الحالات المثيرة التي مرّ بها الوكيل. الحالات المتشابهة تُجمَّع في خلايا عبر إسقاطها على تمثيل مُبسَّط منخفض الأبعاد، ويُخزَّن مع كل خلية أفضل مسار معروف للوصول إليها.

2. عُد أولاً — في بداية كل جولة، يختار الخوارزمية خلية واعدة من الأرشيف ثم يعود إليها بدون أيّ ضجيج استكشاف. في أبسط نسخة يتمّ ذلك باستعادة حالة المحاكي مباشرةً. أمّا في النسخة المبنية على السياسة، فتتولّى سياسة مشروطة بالهدف مهمة الملاحة عائدةً إلى تلك النقطة.

3. ثم استكشِف — بمجرد الوصول إلى الحالة المختارة، يبدأ الاستكشاف الصرف: أفعال عشوائية أو سياسة استكشاف مُتعلَّمة. كل حالة جديدة يُصادفها تُضاف إلى الأرشيف.

هذا الفصل بين العودة والاستكشاف هو ما يحلّ المشكلتين معاً: الأرشيف لا ينسى أبداً (فيُعالَج الانفصال)، والعودة تحدث بلا ضجيج (فيُعالَج الانحراف).

أيّ بيئة حقيقية تحتوي على عدد هائل من الحالات الفريدة يستحيل تخزينها واحدةً واحدة. الحلّ في Go-Explore هو فكرة الخلية: نأخذ مجموعة من الحالات التي تبدو متشابهة من حيث قيمتها الاستكشافية ونُعاملها ككيان واحد.

في ألعاب Atari حين لا تتوفّر معرفة مسبقة بمجال اللعبة، تكون الخلية ببساطة نسخة مُصغَّرة من إطار اللعبة: تُحوَّل الصورة إلى تدرّجات الرمادي، ويُقلَّل عدد البكسلات وعمقها اللوني. يضبط الخوارزمية هذه المعاملات ديناميكياً للوصول إلى التوازن الصحيح: خلايا كثيرة جداً تعني تكلفة حسابية بلا فائدة تُذكر، وخلايا قليلة جداً تعني دمج حالات مختلفة فعلاً فيتوقّف الاستكشاف.

أمّا في Montezuma's Revenge مع معرفة مسبقة بالمجال، فالخلية تتكوّن من رقم الغرفة وموضع الوكيل التقريبي ومستوى اللعبة الحالي والمفاتيح التي بحوزته. هذا التمثيل المدمج يلتقط بدقّة ما يهمّ فعلاً لتقدّم الاستكشاف.

النقطة الجوهرية هنا أن اختيار تمثيل الخلية يُحدث فرقاً كبيراً: التمثيل الجيد يجمع الحالات التي لا فرق بينها من منظور الاستكشاف، ويُفرّق بين الحالات التي تمثّل حدوداً استكشافية مختلفة فعلاً.

أبسط نسخ Go-Explore تعمل على مرحلتين منفصلتين، وكل مرحلة تحلّ مشكلة مختلفة:

المرحلة الأولى — الاستكشاف: في كل جولة تختار الخوارزمية خلية من الأرشيف، وتستعيد حالة المحاكي عندها، ثم تنفّذ أفعالاً عشوائية لاكتشاف مناطق جديدة. الفكرة أنها تستغلّ حتمية المحاكي بحفظ لقطات حالته الداخلية واستعادتها لاحقاً. المخرَج هنا ليس سياسة — بل مجموعة من المسارات عالية الأداء، أي تسلسلات أفعال خام.

المرحلة الثانية — التقوية: المسارات التي أنتجتها المرحلة الأولى هشّة لأنها تعتمد على حتمية المحاكي. هنا نستخدمها كعروض خبيرة ضمن التعلّم بالتقليد: بواسطة «الخوارزمية العكسية» المُعدَّلة، تتدرّب شبكة عصبية على تتبّع هذه المسارات وتحسينها في بيئة عشوائية تتضمّن أفعالاً لزجة. النتيجة: سياسات متينة قادرة على التعميم.

وهنا تكمن قوة هذا التصميم: المرحلة الأولى حرّة في استخدام أيّ وسيلة للاستكشاف — حتى الحتمية واستعادة حالات المحاكي — لأن المرحلة الثانية هي التي تضمن أن السياسة النهائية تتعامل مع عشوائية العالم الحقيقي.

ليست كل الخلايا في الأرشيف متساوية في قيمتها الاستكشافية. Go-Explore يختار الخلايا احتمالياً، والفكرة بسيطة: فضّل الخلايا التي زُرتها مرات أقل أثناء الاستكشاف، لأن المناطق المحيطة بها على الأرجح لم تُستكشف بعد.

الوزن الذي تحصل عليه كل خلية يتناسب عكسياً مع الجذر التربيعي لعدد مرات اختيارها:

في Montezuma's Revenge حين تتوفّر معرفة مسبقة بالمجال، يُضيف Go-Explore معايير مكانية ذكية إلى عملية الاختيار. مثلاً: الخلايا التي لها جيران أفقيون أقلّ في الأرشيف تحصل على وزن إضافي، لأنها تقع عند حافة المنطقة المستكشفة — أي أنها أقرب إلى المجهول. كذلك تُعطى أولوية للخلايا التي يحمل فيها الوكيل أكبر عدد من المفاتيح عند موقع معيّن. هذه الأوزان المُدركة للمجال تُسرّع الاستكشاف بشكل ملحوظ في البيئات ذات البنية المنتظمة.

استعادة حالات المحاكي حلّ فعّال، لكنه ليس متاحاً دائماً — خصوصاً في التطبيقات الحقيقية. هنا يأتي دور Go-Explore بالسياسة: بدلاً من الاستعادة المباشرة، يتعلّم الوكيل سياسة مشروطة بالهدف تُعيده إلى الخلية المختارة بتتبّع المسار المُخزّن كسلسلة من الأهداف الفرعية.

هذا المتغيّر يُقدّم فائدتين مهمتين. الأولى أنّ وجود سياسة متاحة أثناء خطوة الاستكشاف يُحسّن الاستكشاف جذرياً: بدلاً من الأفعال العشوائية، يمكن توجيه الوكيل نحو أهداف جديدة — بما فيها خلايا لم تدخل الأرشيف بعد. التجارب أظهرت أنّ الاستكشاف بالسياسة يكتشف نحو أربعة أضعاف ما تكتشفه الأفعال العشوائية في كلٍّ من Montezuma's Revenge وPitfall.

الفائدة الثانية أنّ السياسة تتدرّب في بيئة عشوائية منذ البداية، فتتعلّم التعامل مع عشوائية البيئة بشكل طبيعي أثناء التدريب — وبالتالي لا حاجة لمرحلة تقوية منفصلة.

تقنياً، تُدرَّب السياسة باستخدام PPO مع التعلّم بالتقليد الذاتي لاستخلاص أقصى قيمة من المسارات الناجحة النادرة المُكتشفة مبكراً. كما تعمل آلية حقن الإنتروبيا على زيادة الاستكشاف فقط حين يعلق الوكيل — بدلاً من مكافأة إنتروبيا ثابتة تُسبّب انحرافاً شاملاً.

النتائج التي حقّقها Go-Explore كانت مذهلة بكل المقاييس. لنستعرضها على معيار Atari:

في Montezuma's Revenge حصل Go-Explore بعد التقوية مع التمثيل المُصغَّر على 43,791 نقطة — أي أربعة أضعاف أفضل نتيجة سابقة (11,618)، ومتفوّقاً بفارق كبير على متوسط الأداء البشري (4,753). ومع المعرفة المسبقة بالمجال، وصلت النتيجة إلى 1,731,645 متجاوزةً حتى الرقم القياسي البشري العالمي البالغ 1.2 مليون.

في Pitfall سجّل Go-Explore 6,954 نقطة — والمفاجأة أنه أول خوارزمية تُسجّل أيّ نقاط في هذه اللعبة تحت التقييم العشوائي الصحيح، بينما كانت أفضل نتيجة سابقة صفراً تماماً.

مرحلة الاستكشاف وحدها — أي قبل التقوية — تجد مسارات تتفوّق على البشر في كل ألعاب Atari الخمس والخمسين، بما فيها تجاوز أفضل النتائج المنشورة في 83.6% من الألعاب.

وعلى صعيد الروبوتيات، في مهمة التقاط ووضع صعبة — حيث يجب على ذراع روبوتية إمساك جسم ووضعه في أحد أربعة رفوف (اثنان منها خلف أبواب بمزالج) — حقّق Go-Explore نسبة نجاح 99%. في المقابل، PPO القياسي لم يجد أيّ مكافأة بعد مليار إطار. وحتى التحفيز الذاتي القائم على العدّ بنفس المعرفة المسبقة فشل أيضاً، ولم يستطع حتى تعلّم الإمساك الموثوق بسبب الانحراف.

الأمر اللافت في Go-Explore هو الهُوَّة بين بساطة آلياته وضخامة نتائجه. لسنوات، استثمر الباحثون جهوداً كبيرة في أساليب تحفيز ذاتي معقّدة — خطأ التنبّؤ، وحدات الفضول، مكافآت العدّ — وكانت المكاسب تدريجية. ثم جاء Go-Explore بحلقته البسيطة «تذكّر، عُد، استكشِف» وحقّق قفزات بمراتب من المقدار.

الدلالة واضحة: المشكلة الحقيقية في الاستكشاف الصعب لم تكن غياب إشارات مكافأة ذكية، بل كانت فشلاً بنيوياً — الخوارزميات ببساطة لم تكن تعود بشكل منهجي إلى الحالات الواعدة قبل أن تستكشف. بعبارة أخرى، المجتمع البحثي كان يُحسّن الشيء الخطأ: كيف نُشجّع الاستكشاف في كل خطوة، بينما السؤال الأهم هو كيف نُنظّم عملية الاستكشاف ككل.

ورؤية الورقة تتجاوز Go-Explore نفسه. فكرة تفكيك الاستكشاف إلى مرحلة عودة ثم مرحلة استكشاف هي مبدأ عام يصلح للدمج مع أيّ خوارزمية تعلّم معزّز. إنه تحوّل من فلسفة «استكشف في كل مكان قليلاً» إلى «عُد إلى نقطة محدّدة، ثم استكشف منها بعمق» — وهو نموذج أقرب فعلاً إلى الطريقة التي يستكشف بها البشر والحيوانات بيئاتهم.

ما يبقى من Go-Explore ليس أرقامه فحسب، بل تشخيصه: الانفصال والانحراف أصبحا مفهومَين واضحَين ولهما حلول محدّدة. أيّ خوارزمية استكشاف مستقبلية لا تُعالج هذين النمطين ستترك على الأرجح أداءً كبيراً على الطاولة. الرسالة الأعمق للورقة أنّ الاستكشاف المُنظَّم — لا تشكيل المكافآت الأذكى — هو المفتاح الحقيقي لحلّ مشكلات الاستكشاف الصعب.