إعادة تشغيل الخبرة بأثر رجعي

في التعلّم المعزّز المشروط بالأهداف، المطلوب من الوكيل أن يصل إلى حالة هدف محدّدة $g$ انطلاقاً من حالة بداية. أبسط صياغة للمكافأة وأكثرها مباشرة هي الصياغة الثنائية:

$r(s, a, g) = -[f_g(s') = 0]$

الوكيل يحصل على $0$ حين يُحقّق الهدف، و$-1$ في أي حالة أخرى. الجميل في هذه الصياغة أنها تتخلّص تماماً من تشكيل المكافأة — لا حدود مسافة يدوية، ولا قواعد خاصة بكل مهمة، ولا خطر اختراق المكافأة. لكنّ الثمن باهظ: حين يكون فضاء الأفعال متصلاً وعالي الأبعاد — كذراع روبوتية بسبعة مفاصل مثلاً — فإنّ احتمال أن يصل الوكيل بالصدفة إلى الهدف يكاد يكون صفراً.

تصوّر أنّ الوكيل يستكشف ملايين الخطوات دون أن يرى مكافأة إيجابية واحدة. بلا مكافأة لا يوجد تدرّج، وبلا تدرّج لا يوجد تعلّم. الوكيل عالقٌ في صحراء لا واحة فيها.

أول ما يتبادر إلى الذهن هو إضافة مكافأة تعتمد على المسافة: كافئ الوكيل جزئياً كلّما اقترب من الهدف. هذا ما يُعرف بـتشكيل المكافأة، وهو ينجح أحياناً لكنه يجلب معه مشكلات جدّية:

• يحتاج خبرة مسبقة بالمهمة. عليك أن تُعرّف معنى «الاقتراب» لكل مهمة — وفي ذراع روبوتية بسبعة مفاصل، المسافة الإقليدية قد لا تعكس إمكانية الوصول الفعلية.
• اختراق المكافأة. الوكيل قد يكتشف طرقاً مختصرة تُعظّم المكافأة المُشكَّلة دون إنجاز المهمة — كالاهتزاز بجانب الجسم دون إمساكه، أو استغلال ثغرات المحاكي.
• الهشاشة. مكافأة صُمّمت لمهمة الدفع قد تفشل تماماً في مهمة الالتقاط والوضع. كل مهمة جديدة تستلزم تصميماً من الصفر.

والنتيجة المفاجئة التي يعرضها البحث: تشكيل المكافأة يُضعف الأداء فعلاً حين يُدمج مع HER. المكافأة الثنائية ليست أبسط فحسب — بل هي أفضل في هذا الإطار.

الفكرة الأساسية في HER مستوحاة من طريقة تعلّم البشر: حين نفشل في مهمة لا نُلقي بالتجربة جانباً — بل نسأل أنفسنا «ماذا حقّقتُ فعلاً؟» ونحتفظ بهذه المعرفة للمستقبل.

لنرَ كيف يعمل هذا عملياً. افترض أنّ لدينا سياسة مشروطة بالأهداف $\pi(a \mid s, g)$ تُدرَّب بـخوارزمية خارج السياسة مثل DDPG. بعد أن يُنهي الوكيل حلقة كان يسعى فيها لتحقيق الهدف $g$، تُخزِّن HER الانتقالات مرتين:

• مرة مع الهدف الأصلي $g$ — وعادةً تكون المكافأة $-1$ لأنه فشل.
• ومرة ثانية مع هدف بديل $g'$ يُختار من الحالات التي وصل إليها الوكيل فعلاً خلال تلك الحلقة — وهنا تصبح المكافأة $0$ لأنّ $g'$ تحقَّق بالفعل.

السرّ هنا أنّ الخوارزمية خارج السياسة، أي أنها تستطيع التعلّم من انتقالات أُنتجت وهي تسعى لهدف مختلف عمّا تُحسِّنه الآن. السياسة ودالة القيمة كلتاهما مشروطتان بالهدف، فتبديل الهدف لا يعني أكثر من وضع المسار نفسه في سياق جديد.

حين تُعيد HER تخزين انتقال ما، تحتاج لاختيار هدف بديل $g'$. البحث يطرح أربع طرق مختلفة — كل واحدة تُجيب عن سؤال: «أي حالة وصلتُ إليها فعلاً أعتبرها هدفي؟»

• النهائي (Final) — خُذ الحالة الأخيرة في الحلقة. أبسط الطرق: انتقال إضافي واحد لكل خطوة.
• المستقبلي (Future) — اختر عشوائياً $k$ حالات زارها الوكيل بعد الانتقال الحالي في الحلقة نفسها. هذا هو الأفضل أداءً: ينشأ عنه منهج تعليمي طبيعي تُقرن فيه الخطوات المبكرة بأهداف قريبة، والخطوات المتأخرة بنهاية الحلقة.
• الحلقي (Episode) — اختر $k$ حالات من أي موضع في الحلقة. أضعف قليلاً من المستقبلي لأنه قد يشمل حالات سبق أن مرّ بها الوكيل.
• العشوائي (Random) — اختر $k$ حالات من ذاكرة الإعادة بأكملها. الأضعف: لأنّ الأهداف البديلة قد لا تمتّ بصلة لـالمسار الذي سلكه الوكيل.

النتيجة التجريبية واضحة: المستقبلي مع $k=4$ يتفوّق في كل البيئات المُختبَرة. وهذا منطقي: حين تقول للوكيل «بعد هذا الفعل وصلتَ إلى الحالات X₁ وX₂ وX₃ وX₄» فإنك تمنحه أغنى إشارة تعلّم محلية ممكنة مع الحفاظ على تماسك المسار.

تعمل HER كطبقة إضافية تُغلِّف أي خوارزمية خارج السياسة. لنستعرض الإجراء الكامل مع اعتبار DDPG الخوارزمية الأساسية:

نقطة جوهرية هنا: الانتقالات الأصلية والمُعاد وسمها تُخزَّن معاً في ذاكرة إعادة واحدة. حين تسحب الخوارزمية دفعة صغيرة لـالتدريب، تأخذ من النوعين دون تمييز. النتيجة أنّ بيانات التدريب تحتوي بشكل طبيعي على مزيج من «إخفاقات حقيقية» (الهدف الأصلي، $r=-1$) و«نجاحات افتراضية» (هدف بديل، $r=0$). هذا المزيج يمنح دالة القيمة أمثلة إيجابية وسلبية في آنٍ واحد — وهو بالضبط ما تحتاجه لتتعلّم.

تعمل HER ضمن إطار مُقرِّبات دالة القيمة الشاملة (UVFA). الفرق عن الصياغة التقليدية $Q(s, a)$ أنّ الناقد هنا يأخذ الهدف أيضاً كمدخل:

السياسة أيضاً مشروطة بالهدف: $\pi(a \mid s, g)$. كلٌّ من $Q$ و$\pi$ يستقبل الحالة والهدف معاً كمدخلات. عند إعادة الوَسم — أي استبدال $g$ بـ$g'$ — لا نغيّر سوى المكافأة:

$r' = r(s_t, a_t, g') = -[f_{g'}(s_{t+1}) = 0]$

إذا كانت الحالة التالية $s_{t+1}$ تُطابق الهدف الجديد $g'$ (أي $f_{g'}(s_{t+1}) = 1$)، تصبح المكافأة $0$ — أي نجاح. هذا هو التعديل الوحيد: الحالة والفعل والحالة التالية تبقى كما هي تماماً.

نجاح HER يقوم على ركيزتين أساسيتين:

المنهج الضمني. في بداية التدريب تكون سياسة الوكيل عشوائية تقريباً، فلا يصل إلا إلى حالات قريبة من نقطة البداية. حين تُعيد HER وسم هذه الحالات باستراتيجية «المستقبلي»، تكون الأهداف البديلة قريبة وسهلة التحقيق. ومع تحسّن السياسة ووصول الوكيل إلى حالات أبعد، تزداد صعوبة الأهداف المُعاد وسمها تلقائياً — كأنّ هناك منهجاً تعليمياً يتصاعد في الصعوبة لكن لم يُصمّمه أحد.

التعميم الشامل. بما أنّ دالة Q مشروطة بالهدف، فإنّ تعلّم «كيف تصل إلى الحالة X» يُكسب الوكيل معرفة ضمنية عن الوصول إلى حالات مجاورة أيضاً. مسار واحد بعد إعادة وسمه بعدة أهداف يُدرّب دالة القيمة على منطقة كاملة من فضاء الأهداف — لا نقطة واحدة فقط. هذا يرفع كفاءة استخدام العيّنات بفارق هائل مقارنةً بتعلّم كل هدف مستقلاً.

اختبر البحث HER على ثلاث مهام تحكّم روبوتي في محاكاة MuJoCo باستخدام ذراع Fetch ذات 7 درجات حرية، وجميعها بـمكافأة ثنائية ($-1$ أو $0$):

• الدفع (Push) — حرّك قرصاً على الطاولة إلى موضع مُحدَّد.
• الانزلاق (Slide) — اضرب القرص بقوة محسوبة ليصل إلى هدف بعيد.
• الالتقاط والوضع (Pick-and-place) — أمسك جسماً وارفعه وضعه في موضع هدف ثلاثي الأبعاد.

بدون HER، لا يتعلّم DDPG مع المكافأة المتناثرة أي شيء — نسبة النجاح تظلّ عند 0% طوال التدريب. أما مع HER باستراتيجية «المستقبلي» ($k=4$)، فيحقّق الوكيل نسب نجاح شبه مثالية في الدفع والانزلاق، وأداءً قوياً في مهمة الالتقاط والوضع التي تُعدّ أصعب بكثير.

من أبرز نتائج البحث: سياسات دُرِّبت بالكامل في محاكاة MuJoCo نُقلت مباشرة إلى روبوت Fetch حقيقي بدون أي ضبط دقيق. مهمة الدفع تحديداً نُقلت بنجاح إلى العالم الحقيقي. هذا يعني أنّ HER لا تحلّ مشكلة المكافأة المتناثرة في المحاكاة فحسب — بل تُنتج سياسات متينة بما يكفي للعمل على روبوتات فعلية.

لماذا نجح هذا النقل؟ لأنّ السياسة تعلّمت مهارات تحكّم حقيقية من التجارب المُعاد وسمها، لا حيلاً خاصة بالمحاكي. حين تكون الإشارة الوحيدة «هل وصلتَ أم لا؟»، لا مجال لـاختراق المكافأة — على السياسة أن تتعلّم فعلاً كيف تتحكم بالذراع.

الإرث الأعمق لـHER هو تغيير في طريقة التفكير: الفشل ليس تجربة ضائعة — بل تجربة ناجحة لهدف مختلف. وهذا المبدأ يتجاوز الروبوتات بكثير. الأبحاث الحديثة تُوظِّف فكرة الأثر الرجعي نفسها في مسارات وكلاء اللغة، وفي توليد المناهج التعليمية، وفي التخطيط في ظلّ عدم اليقين.