الأساليب غير المتزامنة للتعلُّم المعزَّز العميق

واجه التعلُّم المعزَّز العميق مشكلة أساسية حلّتها DQN: حين تتعلّم الشبكة العصبية من إطارات اللعبة المتتالية، تكون البيانات شديدة الارتباط الزمني — الإطار 100 والإطار 101 يكادان يكونان نسخة من بعضهما. هذا الترابط يُزعزع عملية التعلّم ويجعل الشبكة تنسى ما اكتسبته سابقاً لأنها تُفرط في التكيّف مع آخر ما رأته.

الحلّ الذي قدّمته DQN كان ذاكرة إعادة التشغيل: خزّن ملايين الانتقالات $(s, a, r, s')$ ثم اسحب منها دفعات عشوائية صغيرة لتدريب الشبكة. فكرة ذكية تكسر الارتباط الزمني، لكنها تأتي بثلاثة قيود:

• تكلفة الذاكرة. تخزين ملايين الانتقالات يلتهم غيغابايتات من الذاكرة.
• خارج السياسة حصراً. العيّنات المُسترجعة تنتمي لنسخة قديمة من السياسة، فيجب أن تكون الخوارزمية من النوع خارج السياسة. أما الأساليب داخل السياسة — مثل تدرُّج السياسة الذي يتعلّم من أفعاله الطازجة — فلا يمكنها الاستفادة من بيانات قديمة.
• وكيل واحد. وكيل وحيد يتفاعل مع بيئة واحدة ويُنتج البيانات بالتتابع. للتوسّع لا بدّ من ذاكرة أكبر ومعالجات رسومية أقوى — لا مزيداً من التوازي.

الفكرة المحورية بسيطة وأنيقة في آن: إذا كان الارتباط الزمني في البيانات هو المشكلة، فلا داعي لتخزينها وإعادة خلطها — يكفي أن تجمع البيانات من أماكن كثيرة في اللحظة نفسها.

أطلِق $N$ نسخة من البيئة، كلّ واحدة على نواة معالج مستقلة، وكلّ واحدة تحمل وكيلاً بنسخة محلية من الشبكة. كل وكيل يستكشف بمفرده: واحد قد يكون في المرحلة الأولى، وآخر في المرحلة الخامسة، وثالث يسقط من حافة. في أي لحظة، الوكلاء الـ$N$ يقفون في $N$ حالة مختلفة — فبياناتهم مفكوكة الارتباط بطبيعتها، تماماً كالعيّنات العشوائية من ذاكرة إعادة التشغيل، لكن بتكلفة ذاكرة صفرية.

كل وكيل يلعب بضع خطوات، يحسب التدرّجات محلياً، ثم يدفعها إلى شبكة عالمية مشتركة — بشكل غير متزامن، من غير أن ينتظر أحداً. بعد ذلك يسحب أحدث المعاملات من الشبكة العالمية ويواصل اللعب. والنتيجة أن الشبكة العالمية تتحسّن باستمرار من تيّارات تدرّج متنوعة وغير مترابطة.

يعتمد A3C على نمط الممثل-الناقد — وهو ببساطة دوران مختلفان داخل شبكة عصبية واحدة:

• الممثل (رأس السياسة) يُخرج توزيعاً احتمالياً على الأفعال الممكنة: $\pi(a_t | s_t; \theta)$. فكأنه يسأل: «بناءً على ما أراه الآن، ما أفضل فعل أتّخذه؟»
• الناقد (رأس القيمة) يُخرج رقماً واحداً — تقدير قيمة الحالة الحالية: $V(s_t; \theta_v)$. فكأنه يسأل: «ما مدى جودة هذا الموقف بشكل عام، بصرف النظر عمّا سأفعله لاحقاً؟»

النقطة الجوهرية أن الممثل والناقد يتشاركان الطبقات السفلى من الشبكة — أي مستخرج السمات الالتفافي أو كامل الاتصال الذي يعالج البكسلات الخام أو متّجهات الحالة. التفرّع يحصل فقط عند الطبقة الأخيرة: رأس يُنتج احتمالات الأفعال، ورأس يُنتج تقدير القيمة. هذه المشاركة فعّالة لأن كلا الدورين يستفيد من التمثيل المُتعلَّم نفسه.

تدرُّج السياسة في صورته الخام يقول: «هذا الفعل حصد مكافأة $R$ — عزّزه.» المشكلة أن $R$ وحدها إشارة مشوّشة. هل ارتفعت المكافأة لأن الفعل كان ذكياً فعلاً، أم لأن الوكيل كان أصلاً في وضع جيد؟

هنا يأتي دور دالة الأفضلية: نطرح خطّ الأساس الذي يوفّره الناقد لنعزل إسهام الفعل وحده. السؤال يصبح: «بكم تفوّق هذا الفعل على ما كنت أتوقّعه عادةً من هذه الحالة؟»

إذا كانت $A > 0$ فالفعل أدّى أفضل من المتوسط — عزّزه. وإذا كانت $A < 0$ فقد كان أسوأ — ثبّطه. هذا التمركز حول المتوسط يُخفّض تباين تقدير التدرّج بشكل كبير، ممّا يجعل التعلّم أسرع وأكثر استقراراً.

تخيّل الأمر كـنظام تقييم مطاعم: الناقد يمثّل التقييم المتوسط للمطعم (مثلاً 3.5 نجوم)، والأفضلية تقيس مقدار انحراف هذه الوجبة بالذات عن ذلك المتوسط. وجبة ممتازة بخمس نجوم في مطعم متوسطه 3.5 تحصل على أفضلية $A = +1.5$ — ستوصي بها بحماس. وجبة سيئة بنجمتين تحصل على $A = -1.5$ — ستحذّر منها. بدون خط الأساس هذا، ستُعطي تقييمات خام تتأرجح بعنف حسب مستوى المطعم العام، والشبكة لن تعرف أيّ فعل هو الذي أحدث الفرق فعلاً.

يُدرَّب A3C على ثلاثة أهداف في آنٍ واحد، وكلها تُجمع في تحديث واحد:

1. خسارة السياسة (الممثل) — تدفع السياسة باتّجاه الأفعال ذات الأفضلية الموجبة. الفكرة هي تدرُّج السياسة المعياري، لكنه مُرجَّح بالأفضلية لتخفيض التباين.

2. خسارة القيمة (الناقد) — تُدرّب رأس القيمة على التنبؤ الدقيق بالعوائد. ببساطة هي الخطأ التربيعي بين القيمة المتوقّعة والعائد المرصود متعدّد الخطوات.

3. مكافأة الإنتروبيا — تمنع السياسة من الانهيار المبكّر نحو فعل واحد. بإضافة إنتروبيا توزيع الأفعال إلى دالة الهدف، تُشجَّع الخوارزمية على الاستكشاف: السياسة المنتظمة لها إنتروبيا عالية، والحتمية لها إنتروبيا صفرية.

من غير مكافأة الإنتروبيا، تميل خوارزمية تدرُّج السياسة إلى الثقة المفرطة بسرعة: بمجرد أن تعثر على فعل يجلب بعض المكافأة، تُركّز كل الكتلة الاحتمالية عليه وتتوقف عن تجربة أي بديل. هذا ما نسمّيه التقارب المبكّر — الوكيل يستغلّ ما يعرفه قبل الأوان ولا يكتشف استراتيجيات ربّما تكون أفضل بكثير.

حدّ الإنتروبيا $H(\pi) = -\sum_a \pi(a|s) \log \pi(a|s)$ يبلغ ذروته حين تكون جميع الأفعال متساوية الاحتمال، ويهبط إلى الصفر حين يستحوذ فعل واحد على كل الاحتمال. إضافة $\beta \cdot H(\pi)$ إلى دالة الهدف تعمل كمنظّم حرارة: تُبقي السياسة «دافئة» بما يكفي لمواصلة الاستكشاف. المعامل $\beta$ هو مقبض التحكّم — قيمة مرتفعة تعني استكشافاً عشوائياً أوسع، وقيمة منخفضة تعني تركيزاً أكبر على الاستغلال.

السؤال المحوري: إلى أي مدًى ينبغي أن ينظر الوكيل للأمام قبل أن يُحدّث أوزانه؟ هذه هي المفاضلة بين الانحياز والتباين في صميم تعلّم الفرق الزمني:

• عائد الخطوة الواحدة ($r_t + \gamma V(s_{t+1})$): سريع التحديث لكنه يعتمد بشدة على تقدير الناقد — وفي بداية التدريب قد يكون هذا التقدير بعيداً عن الصواب — تباين منخفض، انحياز مرتفع.
• عائد مونتي كارلو الكامل ($\sum \gamma^i r_{t+i}$): يستخدم المكافآت الحقيقية فقط بلا أي انحياز من الناقد، لكن مجموع مكافآت عشوائية كثيرة مُشوَّش جداً — انحياز منخفض، تباين مرتفع.
• العائد متعدّد الخطوات: حلّ وسط ذكي. استخدم $k$ مكافأة حقيقية، ثم أكمل الباقي من تقدير الناقد (الاستمهاد). في A3C عادةً نستخدم $k = 5$ أو $k = 20$، فنحصل على أفضل ما في الأسلوبين.

لنجمع كل ما سبق في حلقة التدريب الكاملة لـA3C، كما ينفّذها كل خيط عامل:

1. المزامنة — انسخ معاملات الشبكة العالمية إلى الشبكة المحلية.
2. جمع التجارب — تفاعل مع البيئة المحلية لعدد أقصاه $t_{max}$ خطوة (أو حتى تنتهي الحلقة)، مع تسجيل الحالات والأفعال والمكافآت.
3. حساب العوائد — احسب العائد متعدّد الخطوات $R_t^{(n)}$ لكل خطوة، بدءاً من الحالة الأخيرة ورجوعاً إلى الأولى.
4. حساب الأفضليات — لكل خطوة: $A_t = R_t^{(n)} - V(s_t)$.
5. حساب التدرّجات — اشتقّ الخسارة المُجمَّعة (سياسة + قيمة + إنتروبيا) بالنسبة للمعاملات المحلية.
6. الدفع — طبِّق تلك التدرّجات على الشبكة العالمية (بشكل غير متزامن).
7. كرّر من الخطوة 1.

ما يميّز هذا التصميم أن كل العمّال ينفّذون هذه الحلقة باستقلالية تامة، كلٌّ بإيقاعه الخاص، دون أي حاجز تزامن يُبطئهم. الشبكة العالمية تتلقّى تدفّقاً مستمراً وغير منقطع من تحديثات تدرّج متنوعة المصادر.

اختُبر A3C على 57 لعبة Atari، ومهام تحكّم مستمر (TORCS وMuJoCo)، وملاحة ثلاثية الأبعاد (Labyrinth). وجاءت النتائج لافتة:

• نصف وقت تدريب DQN على ألعاب Atari — والأهم أن ذلك تمّ على معالج مركزي لا على معالج رسوميات.
• تسريع شبه خطي مع زيادة عدد الخيوط: 16 خيطاً حقّقت تسريعاً بنحو 14 ضِعفاً مقارنة بخيط واحد.
• التعلّم داخل السياسة ضاهى أو تفوّق على الأساليب القائمة على إعادة التشغيل خارج السياسة.
• متانة تجاه المعاملات الفائقة — نطاق واسع من قيم معدّل التعلّم أعطى نتائج جيدة دون الحاجة لضبط دقيق.
• تعميم عبر مجالات مختلفة — ألعاب Atari المنفصلة، والتحكم الحركي المستمر، والملاحة ثلاثية الأبعاد، كلها بالخوارزمية نفسها دون تعديل جوهري.

إرث A3C يتجاوز الخوارزمية نفسها بكثير. فقد أثبت ثلاثة مبادئ رسمت ملامح التعلُّم المعزَّز العميق كلّه بعد ذلك:

• التوازي وحده يكفي لتحقيق الاستقرار. لا حاجة لـذاكرة إعادة التشغيل — يكفي أن تكون التجارب متنوعة ومتزامنة.
• الأساليب داخل السياسة قادرة على المنافسة. قبل A3C كان الإجماع أن الأساليب خارج السياسة مع ذاكرة إعادة التشغيل لا غنى عنها. لكنّ A3C أظهر أن الممثل-الناقد داخل السياسة، حين يُدعم بالتوازي، يستطيع مجاراتها بل التفوّق عليها.
• التعلُّم المعزَّز العميق لا يحتاج معالج رسوميات. بالاستفادة من أنوية المعالج المركزي، فتح A3C المجال أمام الجميع. فجأةً أصبح بإمكان باحث يحمل حاسوباً محمولاً إجراء تجارب كانت تستلزم عنقوداً حاسوبياً كاملاً.

في كل مرة يُحاذى فيها نموذج لغوي كبير حديث عبر التعلُّم المعزَّز من التغذية الراجعة البشرية، تجد أن خوارزمية PPO التي تعمل في الخلفية هي وريثة مباشرة لإطار الممثل-الناقد الذي بناه A3C. نموذج التدريب المتوازي الذي أطلقه A3C صار جزءاً من البنية التحتية لدرجة أنه لم يعد مرئياً — كشبكة المياه داخل المبنى: موجودة في كل مكان لكن لا أحد يتوقف ليفكّر فيها.