نماذج العالَم

الفكرة المحورية في نماذج العالم هي تفكيك الوكيل إلى ثلاث وحدات، كلٌّ منها تتولّى جزءاً مختلفاً من المهمة. هذا التقسيم يُحاكي ما يصفه علماء الإدراك عند الإنسان: نضغط ما تلتقطه حواسنا، ونحتفظ بنموذج تنبّؤي عن كيفية عمل العالم، ثم نتّخذ قراراتنا اعتماداً على الاثنين معاً.

الرؤية (V) — مُرمِّز تبايُني تلقائي — تأخذ كل إطار خام (صورة ملوّنة بأبعاد 64×64 بكسل) وتضغطه إلى متّجه كامن $z_t$ من 32 بُعداً فقط. تخيّل أنك تحوّل صورة فوتوغرافية إلى رسم سريع بقلم رصاص: تحتفظ بالتخطيط العام وتتخلّص من تفاصيل البكسلات التي لا تُفيد.

الذاكرة (M) — شبكة كثافة المزيج المتكرّرة (MDN-RNN) — تستقبل المتّجه الكامن الحالي $z_t$ مع الإجراء $a_t$، ثم تتنبّأ بـتوزيع المتّجه الكامن القادم $z_{t+1}$. تحتفظ هذه الشبكة بـحالة خفية $h_t$ تتراكم فيها المعلومات عبر الزمن. فكّر فيها ككرة بلّورية داخلية تقول: «بناءً على ما رأيتُ وما فعلتُ الآن، إليك ما قد يحدث لاحقاً.»

المتحكّم (C) — طبقة خطية واحدة — يستقبل ربط $z_t$ (ما أراه الآن) مع الحالة الخفية $h_t$ (ما أتذكّره وأتوقّعه) ويُنتج الإجراء $a_t$. بـ867 معاملاً فقط، صُمِّم صغيراً عمداً لكي يتحمّل نموذج العالم العبء الأكبر من التعقيد.

نموذج الرؤية عبارة عن مُرمِّز تبايُني تلقائي يعتمد على طبقات التفافية. يأخذ المُرمِّز إطاراً ملوّناً بأبعاد 64×64 ويُحوّله إلى معاملات توزيع غاوسي داخل فضاء كامن من 32 بُعداً: متوسط $\mu$ ولوغاريتم التباين $\log \sigma^2$. بعدها تُسحب عيّنة $z_t$ من هذا التوزيع عبر حيلة إعادة المعامَلة (reparameterization trick)، ثم يُعيد مفكّك الترميز بناء الإطار الأصلي من $z_t$.

لماذا مُرمِّز تبايُني وليس مُرمِّزاً تلقائياً عادياً؟ لأن النسخة التبايُنية تتعلّم فضاءً كامناً سلساً ومتّصلاً: النقاط القريبة من بعضها تمثّل مشاهد بصرية متشابهة. هذه السلاسة حاسمة لنموذج الذاكرة، لأنه يحتاج إلى التنبّؤ بـمسارات داخل هذا الفضاء، وأيّ تقطّع أو تشرذم سيجعل التنبّؤ شبه مستحيل. عقوبة تباعد KL تعمل هنا كقوة ناعمة تمنع الفضاء من التحوّل إلى جُزر منعزلة.

المحصّلة: «رسمة سريعة» من 32 رقماً تلتقط جوهر كل إطار — أين السيارة، كيف ينحني الطريق، هل هناك عوائق — وتتخلّص من تفاصيل البكسلات التي لا تُسمن ولا تُغني.

الآن ولدينا تمثيل مُصغَّر للحاضر ($z_t$)، يأتي السؤال التالي: ماذا سيحدث بعد ذلك؟ نموذج الذاكرة هو شبكة LSTM لكنّ مخرجها ليس تنبّؤاً بقيمة واحدة، بل توزيع احتمالي على المستقبلات الممكنة.

بتفصيل أكثر: يُخرج نموذج MDN-RNN معاملات مزيج من التوزيعات الغاوسية. لكل بُعد من الأبعاد الكامنة الـ 32، يُولّد $K$ مكوّناً غاوسياً بمتوسطاته $\mu_k$ وانحرافاته المعيارية $\sigma_k$ وأوزان المزج $\pi_k$. الفائدة هنا أن النموذج يستطيع التعبير عن عدم اليقين وتعدّد الاحتمالات — لو كانت السيارة تقترب من مفترق طرق مثلاً، يستطيع النموذج أن يُعطي احتمالاً لـكلا الفرعين بدلاً من إنتاج تنبّؤ ضبابي يمزج بينهما.

في كل خطوة زمنية، تستقبل شبكة LSTM ربط $z_t$ مع $a_t$ وتُحدّث حالتها الخفية $h_t$. هذه الحالة تُراكم السياق الزمني: تتذكّر المسار الذي قُطع حتى الآن، والسرعة الحالية، وإيقاع الحلبة. بعد ذلك تُحوّل طبقة شبكة كثافة المزيج الحالة $h_t$ إلى معاملات المزيج.

المتحكّم بسيط عن قصد: طبقة خطية واحدة تأخذ المدخل المُربَط $[z_t, h_t]$ وتُحوّله إلى متّجه من الإجراءات.

لماذا المتحكّم بهذا الصغر؟ لأن كل التعقيد موجود أصلاً في نموذج العالم. المُرمِّز التبايُني استخلص السمات المهمة سلفاً، وشبكة LSTM ضغطت الأنماط الزمنية بالفعل. كل ما على المتحكّم فعله هو رسم حدّ قرار خطي بسيط في هذا الفضاء المنظَّم. تخيّله كمدير تنفيذي يتلقّى ملخصاً من صفحة واحدة أعدّه محلّلان بارعان — عندها يصبح القرار سهلاً ومباشراً.

لهذا الفصل بين المكوّنات فائدة عملية مهمة: بما أن المتحكّم يحوي معاملات قليلة جداً، يمكن تدريبه بالاستراتيجيات التطوّرية مثل CMA-ES بدلاً من الانتشار العكسي. الأساليب التطوّرية لا تحتاج تدرّجات — أي لا حاجة لتمرير التدرّجات عبر نموذج العالم — فيتحقّق تدريب مستقل تماماً لكلّ وحدة من الوحدات الثلاث.

هذه أبرز مساهمة في الورقة. بعد أن يتدرّب نموذج العالم (V + M) على مشاهدات من البيئة الحقيقية، يصبح قادراً على توليد تجارب اصطناعية — أي أن الوكيل يستطيع استكشاف نسخة مُتخيَّلة من البيئة بالكامل دون أن يخرج من رأسه.

الآلية كالتالي: في كل خطوة من الحلم، يتّخذ المتحكّم إجراءً بناءً على الحالة الكامنة الحالية والحالة الخفية. بعدها يسحب MDN-RNN الحالة الكامنة التالية من التوزيع المتوقَّع. المتحكّم يتفاعل مع هذه الحالة المُتخيَّلة ويتّخذ إجراءً جديداً، وهكذا تدور العجلة — كل ذلك من دون لمس البيئة الحقيقية.

نقطة جوهرية: معامل الحرارة $\tau$ يضبط مستوى العشوائية في الحلم. عند $\tau=1$ تحاكي الأحلام عشوائية البيئة الفعلية. عند $\tau > 1$ تصبح أكثر فوضويةً وأصعب توقّعاً — ووجد المؤلفان أن هذا يعمل كنوع من منع الإفراط في التخصيص، إذ يُجبر المتحكّم على تعلّم سياسة متينة لأنه يواجه سيناريوهات أسوأ من الواقع.

يُدرَّب النظام بأكمله في ثلاث مراحل مستقلة، كلٌّ منها تستغرق أقل من ساعة على بطاقة GPU واحدة.

المرحلة الأولى — جمع التجارب. تتفاعل سياسة عشوائية مع البيئة وتُسجّل المشاهدات والإجراءات. لا حاجة لإشارة المكافأة هنا — نموذج العالم يتعلّم من التجربة الحسّية وحدها.

المرحلة الثانية — تدريب V وM. يتعلّم المُرمِّز التبايُني كيف يضغط الإطارات، ثم يتعلّم MDN-RNN الديناميكيات الزمنية داخل الفضاء الكامن. كلاهما يُدرَّب بأهداف غير مُشرَف عليها (إعادة بناء + KL للمُرمِّز، واللوغاريتم السالب للأرجحية لـ MDN-RNN).

المرحلة الثالثة — تدريب C. يُطوَّر المتحكّم باستخدام CMA-ES، إما بالتفاعل مع البيئة الحقيقية (وضع V+M+C) أو بالكامل داخل الأحلام (وضع الحلم). يُقيَّم كل متحكّم مُرشَّح عبر عدة تجارب، ثم يُحدّث CMA-ES توزيع المعاملات باتجاه مكافآت أعلى.

جرى تقييم النظام على بيئتين. CarRacing-v0 مهمة قيادة ذات تحكّم مستمر على حلبات تُولَّد عشوائياً. يرى الوكيل المشهد من الأعلى وعليه زيارة أكبر عدد ممكن من البلاطات. النموذج الكامل V+M+C سجّل 906 نقاط (من ~950 كحدّ أقصى)، متفوّقاً بوضوح على كل الطرق السابقة. في المقابل، سجّل النموذج بلا ذاكرة (V+C فقط) 632 نقطة — وهذا يُثبت أن الذاكرة والتنبّؤ ضروريان للتعامل مع المنعطفات والتخطيط المسبق.

VizDoom Take Cover لعبة بقاء من منظور الشخص الأول على الوكيل فيها مراوغة كرات نارية يقذفها الوحوش. في هذه البيئة أثبتت الورقة جدوى التدريب داخل الحلم: دُرِّب المتحكّم بالكامل في خيال نموذج العالم ثم نُقل إلى البيئة الحقيقية، فتجاوز 1100 خطوة زمنية من البقاء — وهو أداء ينافس وكلاء تدرّبوا بالتفاعل المباشر مع البيئة.

وضعت نماذج العالم وصفة تبنّاها المجال بأكمله: اضغط العالم إلى تمثيل كامن، تنبّأ بالديناميكيات داخل هذا الفضاء، ثم خطِّط عبر مسارات مُتخيَّلة. هذه الوصفة تظهر اليوم في كل نظام حديث تقريباً من أنظمة التعلم المعزَّز القائم على النماذج.

قدّمت الورقة أيضاً تحوّلاً مفاهيمياً عميقاً: الوكيل لا يُدرك الواقع مباشرةً بل يرى فقط ما يُريه نموذج العالم. هذا المنظور أشبه بـ«كهف أفلاطون»: النموذج الجيد يُتيح تعلّماً سريعاً وكفؤاً، لكن النموذج المعيب قد يخلق بقعاً عمياء منهجية لا يملك الوكيل أدوات لاكتشافها بنفسه.

القيود كانت واضحة أيضاً. شبكة MDN-RNN عانت مع الآفاق الزمنية الطويلة. المُرمِّز التبايُني كان يتخلّص أحياناً من تفاصيل مهمة. والمتحكّم المُدرَّب بـCMA-ES لم يكن قادراً على التوسّع إلى فضاءات إجراءات عالية الأبعاد. لكن هذه قيود هندسية لا مفاهيمية — والأبحاث اللاحقة (PlaNet وDreamer وMuZero) عالجت كلاً منها واحداً تلو الآخر.

المسار من نماذج العالم إلى Dreamer v3 هو حكاية تطوير هندسي لفكرة واحدة: ابنِ نموذجاً كامناً للعالم، تخيّل تجارب بداخله، وحسِّن سلوك الوكيل في الخيال. كل بحث لاحق عالج نقطة ضعف بعينها — نماذج حالة أدقّ، وتعلّم سياسات أنجع، وقابلية توسّع أعلى — لكن الأساس المفاهيمي الذي أُرسي عام 2018 لا يزال هو المرجع.