IMPALA: بنية فاعل-متعلّم موزَّعة وقابلة للتوسّع مع تصحيح خارج السياسة بأوزان الأهمية

A3C كان نقلة نوعية في وقته: كل عامل يُشغّل نسخة من البيئة، يحسب التدرّجات محلياً، ثم يرسلها إلى خادم مركزي يحتفظ بنسخة مشتركة من المعاملات. لكن هذا التصميم يصطدم بسقفين واضحين عند التوسّع:

• الـ GPU لا تعمل بكامل طاقتها. كل عامل يمرّر مساراً واحداً صغيراً في كل مرة. الـ GPU مصمَّمة لمعالجة دفعات ضخمة بالتوازي، فتبقى شبه معطّلة مع هذه التحديثات الصغيرة.

• التدرّجات تصل متأخرة. مع مئات العمّال، تصل التدرّجات إلى الخادم وهي محسوبة من سياسة قديمة تجاوزتها عدة تحديثات. كلما زاد عدد العمّال تفاقمت هذه المشكلة وأدّت إلى تباعد في التدريب أو إهدار للحوسبة.

النسخة المتزامنة Batched A2C حلّت مشكلة استغلال الـ GPU بمزامنة العمّال، لكنها خلقت مشكلة أخرى: أبطأ بيئة في الدفعة تُحدّد سرعة الجميع. أي بيئة بطيئة في التصيير أو ذات حلقات طويلة تجعل كل العمّال الآخرين ينتظرون.

الفكرة المحورية في IMPALA هي فصل جمع البيانات عن تحديث المعاملات بشكل كامل. النظام فيه دوران واضحان:

• الفاعلون يعملون على الـ CPU ويُشغّلون نُسخاً من البيئة. كل فاعل يسحب أحدث نسخة من السياسة من المتعلّم، يُنفّذ $n$ خطوة، ثم يُرسل المسار الناتج — الحالات والأفعال والمكافآت واحتمالات سياسته $\mu(a_t|x_t)$ — عبر طابور إلى المتعلّم.

• المتعلّم يجلس على الـ GPU. يسحب دفعات من المسارات التي جمعها فاعلون كثيرون ويُجري انحدار التدرّج على mini-batches كاملة. الشبكة الالتفافية تُطبَّق على كل الإطارات بالتوازي (بطيّ بُعد الزمن في بُعد الدفعة)، ولا يحتاج إلى معالجة تسلسلية إلا الـ LSTM.

هذا الفصل يعني أن المتعلّم لا ينتظر أي فاعل بعينه. الفاعلون الذين بيئاتهم سريعة يُنتجون بيانات أكثر، والبطيئون يُنتجون أقل — كلٌّ يعمل بسرعته دون أن يُعطّل غيره.

الثمن الذي ندفعه مقابل هذا الفصل هو تأخّر السياسة. حين يبدأ الفاعل بجمع مسار جديد، يأخذ نسخة من سياسة المتعلّم الحالية $\pi$ ويستخدمها كسياسة سلوك محلية $\mu$. لكن بحلول انتهائه من $n$ خطوة ووصول المسار إلى المتعلّم، يكون المتعلّم قد نفّذ عدة تحديثات — فتصبح $\pi$ الآن مختلفة عن $\mu$ التي جُمعت بها البيانات.

لو تعاملنا مع هذه البيانات وكأنها مُوَلَّدة من السياسة الحالية — أي افترضنا أن $\mu = \pi$ — سنُدخل انحيازاً. الفاعل استكشف البيئة تحت $\mu$، لكن المتعلّم يُحسِّن $\pi$. أفعال كانت شائعة تحت $\mu$ قد تكون نادرة تحت $\pi$ والعكس. بدون تصحيح، هذا الفارق قد يجعل دالة القيمة تتباعد والسياسة تنهار.

هذه في جوهرها مشكلة التعلّم خارج السياسة: كيف نتعلّم عن سياسة $\pi$ (السياسة المستهدفة) من بيانات جمعتها سياسة مختلفة $\mu$ (سياسة السلوك)؟

يُعالج V-trace مشكلة تأخّر السياسة عبر أخذ عيّنات الأهمية — تقنية إحصائية معروفة تُعيد ترجيح عيّنات مسحوبة من توزيع لتقدير القيم المتوقعة تحت توزيع آخر.

الفكرة بسيطة: إذا كانت سياسة السلوك $\mu$ تختار الفعل $a$ بضعف ما ستختاره السياسة المستهدفة $\pi$، فهذا الفعل «ممثَّل بزيادة» في البيانات ويجب أن يُحتسب بنصف وزنه. والعكس صحيح: فعل نادر تحت $\mu$ لكنه مفضَّل تحت $\pi$ يجب أن يأخذ وزناً أكبر. النسبة $\frac{\pi(a|x)}{\mu(a|x)}$ تُحقّق هذا الترجيح بالضبط.

المشكلة أن هذه النسب قد تنفجر — إذا كان $\mu$ لا يختار فعلاً يُفضّله $\pi$ تقريباً، تصبح النسبة ضخمة وتُسبّب تبايناً عالياً جداً. V-trace يحلّ ذلك بـقطع هذه النسب عند حدّ أقصى، فيتحمّل قدراً ضئيلاً من الانحياز مقابل انخفاض كبير في التباين.

في V-trace نوعان من الأوزان المقطوعة، لكلٍّ منهما دور مختلف:

• $\rho_t = \min\!\left(\bar{\rho},\; \frac{\pi(a_t|x_t)} {\mu(a_t|x_t)}\right)$ — يُحدّد أي دالة قيمة نتقارب نحوها. إذا كان $\bar{\rho} = \infty$ نتقارب نحو $V^\pi$ بالضبط. وإذا كان $\bar{\rho}$ محدوداً نتقارب نحو قيمة سياسة $\pi_{\bar{\rho}}$ تقع بين $\mu$ و $\pi$.

• $c_i = \min\!\left(\bar{c},\; \frac{\pi(a_i|x_i)} {\mu(a_i|x_i)}\right)$ — يُحدّد سرعة التقارب عبر التحكم في مدى انتشار الفروق الزمنية إلى الخلف في المسار. هذا مجرد أداة لتقليل التباين ولا يُغيّر النقطة النهائية التي نتقارب نحوها.

عملياً، وجد الباحثون أن $\bar{\rho} = \bar{c} = 1$ يعطي أفضل النتائج — قطع حادّ يُعطي أولوية للاستقرار.

خوارزمية الفاعل-الناقد مع V-trace تعتمد على ثلاثة تحديثات تعمل معاً — فكّر فيها كأرجل كرسي ثلاثي، لا يقف بدون أي منها:

1. تحديث القيمة (الناقد). قرِّب $V_\theta(x_s)$ من هدف V-trace $v_s$ بتقليل الخطأ التربيعي. هذا يجعل الناقد أدق في تقدير العوائد المتوقعة.

2. تدرّج السياسة (الفاعل). حدِّث السياسة $\pi_\omega$ لزيادة احتمال الأفعال ذات الميزة العالية $q_s - V_\theta(x_s)$، حيث $q_s = r_s + \gamma v_{s+1}$. التدرّج مضروب بـ $\rho_s$ لتصحيح تأثير البيانات خارج السياسة.

3. مكافأة الإنتروبيا. نُضيف حدّاً يتناسب مع إنتروبيا $\pi_\omega$ لمنع السياسة من التحوّل المبكر إلى سياسة حتمية، مما يُبقي الاستكشاف مستمراً.

جرّبت IMPALA بنيتين. النموذج الضحل يُشبه شبكة A3C الأصلية: طبقتان التفافيتان ثم طبقة متصلة بالكامل وLSTM، بإجمالي 1.2 مليون معامل. النموذج العميق يعتمد شبكة متبقية فيها 15 طبقة التفافية موزّعة على 3 مكدّسات من الكتل المتبقية، بـ1.6 مليون معامل.

تاريخياً، الشبكات الأعمق لم تنفع في التعلّم المعزَّز — كانت التدرّجات تتلاشى والتحسين يتعطّل. لكن تدريب IMPALA بدفعات كبيرة على الـ GPU غيّر القاعدة: النموذج العميق تفوّق باستمرار على الضحل في مختلف المهام. الوصلات المتبقية تسمح للتدرّجات بالتدفق عبر كامل عمق الشبكة، والدفعات الكبيرة توفّر إشارة كافية لتعلّم سمات ذات معنى في الطبقات العميقة.

في المهام التي تتضمّن تعليمات لغوية (كمهام التنقّل في DMLab-30)، تُضاف وحدة LSTM صغيرة تُرمِّز التضمينات النصّية، ويُدمَج ناتجها مع السمات البصرية قبل الدخول إلى LSTM الرئيسية.

سرعة IMPALA العالية تفتح الباب لشيء لم يكن ممكناً عملياً من قبل: تدريب نموذج واحد على عشرات المهام في آنٍ واحد. بدل تخصيص كل الفاعلين لمهمة واحدة، توزّع IMPALA عدداً ثابتاً من الفاعلين على كل مهمة. النموذج لا يعرف أي مهمة يتدرب عليها — عليه أن يتعلّم سياسة عامة تصلح للجميع.

على DMLab-30 (30 مهمة ثلاثية الأبعاد متنوعة تشمل التنقّل وفهم اللغة واختبارات معرفية)، حققت IMPALA متوسط نتيجة مُعيَّرة بالأداء البشري بلغ 49.4% — أكثر من ضعف نتيجة A3C (23.8%). والأبرز أن نموذج IMPALA متعدد المهام تفوّق حتى على نماذج IMPALA المُدرَّبة على كل مهمة وحدها، وهذا دليل على نقل إيجابي فعلي — مهارات مكتسبة في مهمة تُفيد مهاماً أخرى.

على Atari-57 (كل ألعاب Atari الـ57)، حقق نموذج IMPALA واحد نتيجة وسيطة مُعيَّرة بالأداء البشري بلغت 59.7% — وهي منافسة لنماذج A3C المتخصصة التي دُرِّب كلٌّ منها على لعبة واحدة. كانت هذه أول مرة ينجح فيها نموذج تعلّم معزَّز واحد في تحقيق أداء تنافسي على 57 لعبة دفعة واحدة.

أرست IMPALA مبدأين أساسيين رسما ملامح الجيل التالي من التعلّم المعزَّز الموزَّع:

المبدأ الأول — افصل جمع التجارب عن التعلّم. اجعل الفاعلين خفيفين على الـ CPU يستكشفون فقط، واحصر الحوسبة الثقيلة في الـ GPU عند المتعلّم. هذا النمط صار معيارياً في SEED RL (الذي نقل حتى استدلال الفاعل إلى الـ GPU)، وR2D2 (الذي أضاف إعادة تشغيل التجارب للفاعلين الموزَّعين)، وكثير من الأنظمة الإنتاجية.

المبدأ الثاني — صحِّح تأخّر السياسة بدل تجاهله. أثبت V-trace أن التصحيح المنهجي خارج السياسة يسمح بالتوسّع دون إهدار البيانات. اعتمد AlphaStar على V-trace كركيزة أساسية لتدريبه على StarCraft II — لعبة فيها مراقبة جزئية وآفاق زمنية طويلة وفضاء أفعال ضخم.

بنية IMPALA المفصولة وتصحيح V-trace أصبحا من الأدوات الأساسية في صندوق أدوات مهندس التعلّم المعزَّز. كلما رأيت نظاماً حديثاً فيه فاعلون موزَّعون يُغذّون متعلّماً مركزياً — سواء في الألعاب أو الروبوتات — فأنت تنظر إلى امتداد مباشر لأفكار IMPALA.