محوِّل القرار: التعلّم المعزَّز عبر نمذجة التسلسلات

الفكرة الأساسية في التعلّم المعزَّز بسيطة: وكيلٌ يراقب حالة البيئة، يتّخذ فعلاً، يتلقّى مكافأة، ثم ينتقل إلى حالة جديدة. والهدف هو إيجاد سياسة تُعظّم مجموع المكافآت على المدى الطويل. الطريقة السائدة لتحقيق ذلك هي التعلّم بفروق الزمن، حيث نُقدّر دالة القيمة وننشر إشارات المكافأة إلى الوراء باستخدام معادلات بِلمان.

المشكلة تبدأ حين ننتقل إلى التعلّم المعزَّز بدون اتصال: هنا لا يستطيع الوكيل التفاعل مع البيئة أو تجربة أفعال جديدة، بل يملك فقط مجموعة بيانات ثابتة من مسارات سابقة. في هذا الوضع يواجه التعلّم بفروق الزمن ثلاث مشكلات تتراكم فوق بعضها. أولاً، التمهيد الذاتي — أي تقدير القيم بناءً على قيم مقدَّرة أخرى — يُضخّم الأخطاء حين لا تغطي البيانات فضاء الحالات بالكامل. ثانياً، الوكيل قد يُبالغ في تقدير قيمة أفعال لم يُجرِّبها قط. ثالثاً، حين تكون المكافآت متناثرة أو مؤجّلة، تحتاج تحديثات بِلمان إلى الانتشار عبر عشرات أو مئات الخطوات الزمنية، وكل حلقة تُضيف ضوضاء جديدة.

أساليب مثل التعلّم المحافظ لدالة Q تحاول معالجة المبالغة بفرض عقوبة على قيم Q للأفعال التي لا تظهر في البيانات، لكنها في النهاية تبقى مبنية على آلية التعلّم بفروق الزمن نفسها. السؤال الذي تطرحه هذه الورقة أجرأ بكثير: هل نستطيع الاستغناء عن التعلّم بفروق الزمن بالكامل؟

لنفكّر بالأمر ببساطة: GPT يتنبّأ بالكلمة التالية بناءً على الكلمات السابقة. محوِّل القرار يفعل الشيء ذاته تماماً، لكنه يتنبّأ بالفعل التالي بناءً على العوائد والحالات والأفعال السابقة. الفكرة هنا بسيطة لدرجة مُخادعة: المسار عبر بيئة ما ليس إلا تسلسلاً من الرموز.

لكن هناك نقطة دقيقة وحاسمة. لو غذّينا النموذج بالمكافآت التي تحقّقت فعلاً في الماضي، سيتعلّم تقليد أيّ سلوك أنتج تلك المكافآت — حتى السلوك الرديء. الحل الذي يطرحه محوِّل القرار هو استبدال المكافآت الماضية بمفهوم العائد المتبقّي: أي مجموع المكافآت المستقبلية من كل خطوة زمنية فصاعداً. هذه هي الآلية التي تُتيح التحكّم في سلوك الوكيل وقت الاختبار.

عملياً، عند التقييم تضبط العائد المتبقّي على قيمة مرتفعة — وكأنك تقول للنموذج: «أُريد مساراً يحصد هذا القدر من المكافأة.» فيُنتج النموذج أفعالاً تتّسق مع المسارات التي حقّقت عوائد مشابهة في بيانات التدريب. الأمر يشبه تحفيز نموذج لغوي بتعليمة أسلوب: بدلاً من «اكتب بلغة رسمية» تقول «حقِّق عائداً قدره 1000.»

النموذج اللغوي المعتاد يعالج تسلسلاً من رموز الكلمات. محوِّل القرار يفعل الشيء نفسه لكن على رموز التجربة. كل خطوة زمنية تُمثَّل بثلاثة رموز تتكرّر بنفس النمط:

1. العائد المتبقّي ($\hat{R}_t$): كم مكافأة ننتظرها من الخطوة $t$ وحتى نهاية المسار.
2. الحالة ($s_t$): ما يراه الوكيل من البيئة — مثلاً زوايا مفاصل روبوت أو إطارات الصورة في Atari.
3. الفعل ($a_t$): ماذا فعل الوكيل في تلك اللحظة.

بهذا يتحوّل المسار الكامل إلى تسلسل طويل: $\tau = (\hat{R}_1, s_1, a_1, \hat{R}_2, s_2, a_2, \ldots, \hat{R}_T, s_T, a_T)$.

النموذج يرى آخر $K$ خطوة زمنية — أي نافذة سياق من $3K$ رمزاً — تماماً كما يعمل GPT مع نافذة نصّية ثابتة. كل نوع من البيانات الثلاثة يملك طبقة تضمين خطية مستقلّة، لكنّ الرموز الثلاثة التي تنتمي للخطوة الزمنية ذاتها تتشارك تضميناً زمنياً واحداً بدلاً من ترميز موضعي منفصل لكل رمز.

البنية مقصودة البساطة — هي في جوهرها نموذج GPT بتعديلات تكاد تكون معدومة. كل نوع من الرموز الثلاثة (العائد المتبقّي، الحالة، الفعل) يمرّ عبر طبقة تضمين خطية مستقلّة لتحويله إلى بُعد مشترك. بعد ذلك يُضاف تضمين زمني مُتعلَّم — وليس ترميزاً موضعياً لكل رمز على حدة، لأن الخطوة الزمنية الواحدة تغطّي ثلاثة رموز. ثم تُطبَّق تسوية الطبقة بعد كل تضمين.

في البيئات البصرية كـ Atari، تمرّ الحالات أولاً عبر مُرمِّز التفافي ثم إلى طبقة التضمين. أما في مهام التحكّم المستمر كـ MuJoCo، فالحالات تدخل كمتّجهات عددية مباشرة.

بعد التضمين، تُغذّى الرموز إلى محوِّل GPT معياري مع قناع سببي — بحيث لا يستطيع كل رمز أن ينتبه إلا لنفسه وللرموز التي سبقته. في نهاية الشبكة، رأس تنبؤ خطي يقرأ الحالة الخفية عند كل موضع حالة ويُخرج الفعل المتوقَّع. أما دالة الخسارة فبسيطة للغاية: متوسط مربّع الخطأ للأفعال المستمرة، أو الإنتروبيا التقاطعية للأفعال المنفصلة.

الخاصية الأكثر إثارة في محوِّل القرار هي أن نموذجاً واحداً يستطيع إنتاج سلوكيات بمستويات مهارة مختلفة تماماً. أثناء التدريب، يرى النموذج مسارات متباينة الجودة — بعضها لوكلاء عشوائيين وبعضها لخبراء. كل مسار يحمل قيم العائد المتبقّي الخاصة به.

عند التقييم، يعمل رمز العائد المتبقّي كأنه مقبض تحكّم. اضبطه على أعلى عائد موجود في بيانات التدريب فيولّد النموذج سلوكاً بمستوى الخبراء. اخفضه إلى قيمة متوسطة وستحصل على سلوك حذر ومعتدل. الورقة تُثبت وجود ارتباط قوي ومباشر بين العائد المستهدف الذي تُدخله والعائد الذي يحقّقه الوكيل فعلاً عبر جميع البيئات.

واللافت أنه في بعض المهام مثل Seaquest، يستطيع النموذج حتى تجاوز حدود بيانات التدريب — محقّقاً عوائد أعلى من أيّ مسار رآه أثناء التدريب. هذا يدلّ على أن النموذج يتعلّم أنماطاً بنيوية تربط الأفعال بالمكافآت، وليس مجرّد حفظ تسلسلات بعينها.

لنتأمّل بيئة «المفتاح والباب» — عالم شبكي بسيط من ثلاث مراحل. المرحلة الأولى: غرفة فيها مفتاح. المرحلة الثانية: غرفة فارغة لا فائدة منها (غرفة تشتيت). المرحلة الثالثة: غرفة فيها باب. الوكيل لا يحصل على المكافأة إلا إذا التقط المفتاح في الأولى ووصل إلى الباب في الثالثة. كل ما يحدث في الغرفة الوسطى لا أثر له على النتيجة.

هذه المهمة كابوس حقيقي لـالتعلّم بفروق الزمن. إشارة المكافأة عند الباب يجب أن تنتشر إلى الوراء عبر كل خطوة في غرفة التشتيت، وكل تحديث بِلمان يُضيف ضوضاء. النتيجة: CQL لا يتجاوز 13% نسبة نجاح حتى مع 10,000 مسار عشوائي.

محوِّل القرار يتعامل مع هذا بسلاسة تامة. آلية الانتباه الذاتي تسمح للنموذج بالربط المباشر بين حدث التقاط المفتاح والمكافأة النهائية، متخطّياً مرحلة التشتيت بالكامل وكأنها غير موجودة. الورقة تُظهر أن أوزان الانتباه تبلغ ذروتها عند حدثين بالضبط: التقاط المفتاح والوصول إلى الباب. النتيجة: 94.6% نسبة نجاح مع نفس الـ 10,000 مسار عشوائي.

هذا إسناد فضل عبر مطابقة الأنماط لا عبر نشر القيم — المحوِّل يكتشف أن «التقاط المفتاح مبكراً + الوصول إلى الباب لاحقاً = عائد مرتفع» فيتعلّم هذا الارتباط مباشرةً دون الحاجة لسلسلة تحديثات وسيطة.

الورقة تختبر محوِّل القرار على ثلاث بيئات مختلفة تماماً:

Atari (أفعال منفصلة، مدخلات بصرية، 1% فقط من بيانات إعادة تشغيل DQN): محوِّل القرار يُضاهي CQL في 3 من 4 ألعاب، ويتفوّق على كلٍّ من REM وQR-DQN والاستنساخ السلوكي في الألعاب الأربع.

OpenAI Gym / D4RL (تحكّم مستمر — HalfCheetah وHopper وWalker): في مجموعات بيانات الخبير المتوسط، يحقّق DT أعلى النتائج في أغلب المهام، مع أداء ممتاز في Hopper بتقييم 107.6 وWalker بتقييم 108.1. أما في مجموعات بيانات الإعادة المتوسطة — حيث جودة البيانات متفاوتة جداً — فيتفوّق DT بوضوح على CQL في Hopper بفارق كبير (82.7 مقابل 48.6).

المفتاح والباب (مكافأة متناثرة، إسناد فضل بعيد المدى): DT يحقّق 94.6% نجاح مقابل 13.3% فقط لـ CQL مع 10,000 مسار عشوائي — الفارق الأكبر والأوضح الذي يُبرز تفوّق الانتباه في إسناد الفضل.

نقطة مهمّة أخرى: محوِّل القرار ينافس أيضاً الاستنساخ السلوكي بالشريحة المئوية (%BC) — وهو أسلوب يُدرَّب فقط على أفضل المسارات — لكن دون أن يحتاج إلى انتقاء البيانات الجيدة يدوياً. محوِّل القرار يتعلّم بنفسه أيّ المسارات يقتدي بها بفضل الاشتراط على العائد.

هناك تجربة بالغة الأهمية تختبر ماذا يحدث حين لا تصل المكافأة إلا في نهاية الحلقة. في هذا الإعداد — يُسمّى «العائد المؤجَّل» — يتلقّى الوكيل صفراً في كل خطوة، ولا يحصل على المكافأة التراكمية إلا عند الخطوة الأخيرة.

بالنسبة لـالتعلّم بفروق الزمن، هذا كارثي. أداء CQL ينهار من 111.0 إلى 9.0 في Hopper-Medium-Expert — سلسلة تحديثات بِلمان تتفكّك تماماً حين تختفي المكافآت الوسيطة التي تعتمد عليها.

محوِّل القرار بالكاد يتأثر: الأداء ينخفض من 107.6 إلى 107.3 فقط في نفس المهمة. والسبب واضح: النموذج يشترط على العائد المتبقّي المحسوب من إجمالي مكافأة المسار، لا من إشارات خطوة بخطوة. سواء وصلت المكافآت موزّعة على كل خطوة أو مجمّعة في النهاية، فالحساب واحد.

هذه المتانة أمام شُحّ المكافآت من أهم مزايا محوِّل القرار العملية، لأن كثيراً من المهام في العالم الحقيقي لا تقدّم إلا إشارات مكافأة مؤجّلة أو ثنائية أو شحيحة جداً.

محوِّل القرار ليس مجرّد ورقة بحثية معزولة — هو جزء من موجة أوسع تتّجه نحو توحيد نمذجة التسلسلات واتخاذ القرار. الورقة أثبتت أن بنية GPT ذاتها التي تولّد مقالات متماسكة تستطيع توليد تسلسلات أفعال متماسكة — دون أيّ آلية تدريب خاصة بـالتعلّم المعزَّز.

الدلالات هنا عميقة. أولاً، مسائل التعلّم المعزَّز تستطيع الإفادة من البنية التحتية الضخمة التي بُنيت للنماذج اللغوية — المحسِّنات، قوانين القياس، تقنيات استقرار التدريب. ثانياً، وكلاء المستقبل العامّون قد لا يحتاجون إلى أنابيب تعلّم معزَّز متخصصة، بل قد يُدرَّبون بنموذج «درِّب مسبقاً ثم حفِّز» نفسه المستخدم في اللغة.

Gato (ديب مايند، 2022) أخذ هذه الفكرة إلى أقصاها: محوِّل واحد دُرِّب على مسارات مرمَّزة من 604 مهمة مختلفة — ألعاب Atari وروبوتات وتوصيف صور وحوار — وحقّق أداءً معقولاً عبرها جميعاً. تلك النتيجة تعود مباشرةً إلى إثبات المفهوم الذي قدّمه محوِّل القرار.