الاستكشاف المدفوع بالفضول عبر التنبؤ ذاتي الإشراف

في التعلُّم المعزَّز التقليدي، يتعلّم الوكيل بالتجربة والخطأ معتمداً على مكافآت تأتيه من البيئة. لكن ماذا لو كانت هذه المكافآت نادرة جداً — أو غير موجودة أصلاً؟

لنأخذ مثالاً عملياً: في لعبة Super Mario Bros، الوكيل لا يحصل على أي نقاط إلا إذا وصل إلى عَلَمٍ بعيد. لو اعتمدنا على الاستكشاف العشوائي بأسلوب إبسيلون الجشع، فإن احتمال أن يصل الوكيل إلى ذلك العَلَم من خلال آلاف الضغطات العشوائية يكاد يكون صفراً. لا إشارة تعلُّم تصله، فلا تحسُّن يحصل.

البشر يتعاملون مع هذا الموقف ببساطة — الطفلة تستكشف الملعب ليس لأن أحداً وعدها بجائزة، بل لأن الفضول يدفعها. هذه الورقة تأخذ تلك الفطرة البشرية وتحوّلها إلى مكافأة جوهرية يمكن حسابها رياضياً.

أول فكرة تخطر على البال لتوليد الفضول: تنبّأ بالإطار التالي من البكسلات بعد تنفيذ فعلٍ ما، واستخدم خطأ التنبؤ بوصفه مكافأة. لكن هذا النهج يعاني من مشكلتين جوهريتين.

المشكلة الأولى أن التنبؤ بآلاف قيم البكسلات عمليةٌ بالغة الصعوبة — النموذج يُبدّد سعته على تفاصيل لا قيمة لها كالنسيج الدقيق للأسطح ودرجات الإضاءة.

المشكلة الثانية أخطر بكثير: بعض عناصر البيئة لا يمكن التنبؤ بها أصلاً وفي الوقت نفسه لا تهمّ الوكيل. تخيّل شاشة تلفاز تعرض ضجيجاً عشوائياً في زاوية مستوى اللعبة. نموذج تنبؤ البكسلات لن ينجح أبداً في التنبؤ بذلك الضجيج، فيبقى الوكيل فضولياً إلى الأبد تجاه التلفاز — محبوساً يحدّق في عشوائية لا معنى لها متجاهلاً اللعبة الفعلية.

الورقة تُقسّم التغييرات في البيئة إلى ثلاثة أنواع: (1) تغييرات يستطيع الوكيل التحكم فيها — كفتح باب؛ (2) تغييرات لا يتحكم فيها لكنها تؤثر عليه — كتحرّك مركبة وكيلٍ آخر؛ (3) تغييرات لا يتحكم فيها ولا تؤثر عليه — كأوراق الشجر المتطايرة أو تشويش التلفاز. إشارة الفضول الجيدة يجب أن تلتقط النوعين الأول والثاني وتتجاهل الثالث.

وحدة ICM تتخلص من فخ البكسلات بتصميمٍ أنيق. الفكرة: بدلاً من أن نتنبأ بالبكسلات مباشرة، نحوّل الملاحظات أولاً إلى فضاء سمات مضغوط، ثم نُجري التنبؤ هناك. السرّ كله يكمن في الطريقة التي يُتعلَّم بها فضاء السمات هذا.

الوحدة تتكوّن من ثلاثة أجزاء تعمل معاً: مُرمِّز سمات $\phi$ يُحوّل الحالات الخام إلى تمثيلات مضغوطة، ونموذج ديناميكيات عكسي مهمته أن يكتشف أيّ السمات مهمة فعلاً، ونموذج ديناميكيات أمامي يتحوّل خطأ تنبؤه إلى مكافأة الفضول.

نموذج الديناميكيات العكسية يستقبل سمات حالتين متتاليتين $\phi(s_t)$ و$\phi(s_{t+1})$، ومهمته أن يُخمِّن: ما الفعل الذي نفّذه الوكيل للانتقال من الأولى إلى الثانية؟

لماذا هذا مفيد؟ فلنفكّر بالأمر: لو كان المُرمِّز يحتفظ بمعلومات عن أوراق الشجر المتطايرة أو تشويش التلفاز، فهذه المعلومات لا تفيد في شيء عند محاولة تخمين فعل الوكيل — الأوراق تتطاير سواء تحرّك الوكيل أم لا. نتيجةً لذلك، يفرض التدريب على النموذج العكسي ضغطاً يُجبر المُرمِّز على الاحتفاظ فقط بالسمات التي لها علاقة بأفعال الوكيل والتخلص من الباقي. هذه هي الفكرة المفتاحية التي تجعل ICM صامداً أمام المشتّتات البصرية.

النموذج الأمامي يأخذ سمات الحالة الحالية $\phi(s_t)$ مع الفعل $a_t$، ويحاول التنبؤ بسمات الحالة التالية $\phi(s_{t+1})$.

النقطة الجوهرية هنا أن التنبؤ يحصل في فضاء السمات المُتعلَّم لا في فضاء البكسلات. وبما أن فضاء السمات هذا يتخلّص تلقائياً من الضجيج غير المهم (بفضل تدريب النموذج العكسي)، فإن أخطاء التنبؤ هنا تعكس جِدَّة حقيقية — مواقف لم يمرّ بها الوكيل من قبل — وليس عشوائية لا يمكن السيطرة عليها.

في كل خطوة زمنية، يحصل الوكيل على مكافأة إجمالية تجمع بين المكافأة الخارجية (إن وُجدت) ومكافأة الفضول الجوهرية: $r_t = r^i_t + r^e_t$. ثم تُدرَّب السياسة باستخدام خوارزمية A3C بهدف تعظيم المجموع المتوقع لهذه المكافأة المُركَّبة.

جميع الأجزاء — المُرمِّز والنموذج العكسي والنموذج الأمامي — تُدرَّب في آنٍ واحد مع السياسة. دالة الخسارة الكلية توازن بين ثلاثة أهداف: تحسين السياسة، وتحسين دقة النموذج العكسي، وتحسين دقة النموذج الأمامي.

اختبرت الورقة وحدة ICM في ثلاثة سيناريوهات، كلٌّ منها يختبر جانباً مختلفاً من فكرة الفضول.

مكافأة خارجية شحيحة: في متاهة VizDoom ثلاثية الأبعاد، على الوكيل أن يصل إلى هدف من نقاط بداية متفاوتة البُعد. حين تكون نقاط البداية قريبة من الهدف، ينجح A3C أحياناً. لكن حين تبتعد نقطة البداية أكثر من 270 خطوة، لا ينجح إلا ICM+A3C — بنسبة نجاح 100% مقابل 0% لخط الأساس A3C.

بدون مكافأة خارجية إطلاقاً: حين أُزيلت المكافأة البيئية تماماً، نجح ماريو المُحرَّك بالفضول في قطع أكثر من 30% من المستوى الأول. تعلّم القفز فوق الأنابيب والتفادي من الأعداء وتجنّب الحُفر — كل هذه السلوكيات اكتُشفت بالفضول وحده. في VizDoom، استكشف الوكيل الفضولي أكثر من 5 غرف بينما لم يكد الوكيل العشوائي يغادر غرفة البداية.

التعميم: وكيل ماريو الذي تدرّب مسبقاً بالفضول على المستوى الأول استكشف المستوى الثاني أسرع من وكيل بدأ تدريبه من الصفر على المستوى الثاني. المهارات المكتسبة — الجري والقفز والمراوغة — انتقلت بنجاح إلى مستويات جديدة. وفي VizDoom أيضاً، تفوّق وكيل دُرِّب مسبقاً بالفضول ثم خضع لـالضبط الدقيق على خريطة جديدة ذات نسيجٍ مختلف على وكيلٍ دُرِّب من الصفر.

لاختبار صمود الوحدة أمام العشوائية غير المهمة، استبدل الباحثون 40% من المُدخل البصري بـضجيج أبيض — محاكاةً مباشرة لمشكلة «التلفاز المُشوَّش». النتيجة كانت واضحة: وحدة ICM مع السمات المُتعلَّمة حافظت على أدائها تماماً سواء وُجد الضجيج أم لم يُوجد. في المقابل، النسخة التي تعتمد على تنبؤ البكسلات (ICM-pixels) انهارت بالكامل.

هذه النتيجة تؤكد الفرضية الأساسية: فضاء السمات المُدرَّب عبر الديناميكيات العكسية يُقصي العوامل التي لا يمكن التحكم فيها. الوكيل فعلياً لا «يرى» الضجيج، لأن مُرمِّزه تعلّم أن الضجيج لا يحمل أي معلومة مفيدة عن الأفعال.

وحدة ICM رسّخت مبدأين أساسيين أثّرا في كل ما جاء بعدها من أبحاث الاستكشاف.

المبدأ الأول: أجرِ التنبؤ في فضاء سمات مُتعلَّم لا في الملاحظات الخام. هذا المبدأ نجده اليوم في RND (التي تستخدم شبكة عشوائية بوصفها مُرمِّزاً للسمات)، وفي BYOL-Explore، وعملياً في كل أسلوب دافعية جوهرية حديث.

المبدأ الثاني: قيِّم التعميم. قبل ICM، لم يكن من المعتاد في أبحاث التعلُّم المعزَّز اختبار الوكيل على بيئات لم يرها أثناء التدريب. حين أثبتت الورقة أن المهارات المكتسبة بالفضول تنتقل إلى مستويات وخرائط جديدة، دفعت ذلك المجتمع البحثي إلى اعتماد التعميم معياراً أساسياً في التقييم.

تأثير الورقة يمتد إلى ما هو أبعد من الاستكشاف: فكرة أن نموذج الديناميكيات العكسية يُوفّر إشارة تعلُّم ذاتي الإشراف قوية لبناء تمثيلات بصرية تبنّتها مجالات الروبوتيات وفهم الفيديو ونمذجة العالم.

اليوم، أصبح الفضول الجوهري أداةً أساسية في صندوق عدّة الاستكشاف. سواء استخدمنا سمات مُتعلَّمة كما في ICM، أو شبكات عشوائية كما في RND، أو حتى عدّ الحالات، تظل الفكرة المحورية واحدة: أعطِ الوكيل سبباً يدفعه نحو المجهول. وحدة ICM هي العمل الذي أثبت أن هذه الفكرة تعمل عملياً وعلى نطاق واسع مع مُدخلات بصرية خام.