TD3: معالجة خطأ تقريب الدوال في أساليب الممثّل-الناقد

الفكرة الأساسية في بنية الممثّل-الناقد بسيطة: الناقد يُقدّر جودة كل فعل (قيمة Q)، والممثّل يعتمد على هذه التقديرات لتطوير سياسته. عملياً، الممثّل يبحث في اتجاه الصعود على مخرجات الناقد — أي يسعى نحو الأفعال التي يعطيها الناقد أعلى تقييم.

المشكلة أن الناقد في جوهره شبكة عصبية، والشبكات العصبية ترتكب أخطاء. لكن الأخطاء هنا ليست متوازنة: الممثّل ينجذب تلقائياً نحو الأفعال التي بالغ الناقد في تقديرها. الأمر أشبه بعملية انتقاء — الممثّل يلتقط كل فعل حصل بالمصادفة على تقدير أعلى ممّا يستحق. ومع تكرار التحديثات، تتراكم المبالغة في التقدير طبقة فوق طبقة، حتى تصبح أخطاء الناقد هي الأهداف التي يسعى إليها الممثّل.

هذه الظاهرة كانت معروفة في التعلّم بالقيمة: عامل max في تحديث بِلمان ينحاز طبيعياً نحو الأعلى، وعالجها Double DQN في حالة الأفعال المنفصلة. لكن في بنية الممثّل-الناقد ذات فضاء الأفعال المستمر، الوضع أسوأ بكثير: الممثّل يصعد مباشرة على سطح دالة Q، فيبحث فعلياً عن قمم المبالغة ويُضخّمها.

الإصلاح الأوّل والأهم هو التعلّم المزدوج المقتطع للقيمة. يُدرّب TD3 شبكتَي ناقد مستقلتين $Q_{\theta_1}$ و$Q_{\theta_2}$. وحين يحتاج إلى حساب القيمة المستهدفة لتحديث بِلمان، يأخذ الحدّ الأدنى من تقديري الناقدين.

لماذا ينجح هذا الأسلوب؟ كل ناقد يُخطئ بشكل مستقل عن الآخر. حين نأخذ الأدنى، لا تحدث مبالغة في التقدير إلا إذا بالغ كلا الناقدين في تقدير الفعل نفسه — وهذا أقل احتمالاً بكثير من خطأ ناقد واحد بمفرده. الحدّ الأدنى يعمل كسقف يمنع التفاؤل من الانفلات.

الفكرة كاستشارة طبيبَين: لو أخبرك أحدهما أن كل شيء ممتاز بينما لاحظ الثاني مؤشراً مقلقاً، الخيار العاقل هو التعامل بحذر. TD3 يتبع المنطق نفسه: بين تقديرين لقيمة Q، اعتمد دائماً على الأقل.

الإصلاح الثاني يعالج مشكلة تتعلّق بالتوقيت. في الأسلوب المعتاد، يُحدَّث الممثّل والناقد معاً في كل خطوة. لكن إذا لم يكن الناقد قد وصل بعد إلى تقديرات مستقرة، فالممثّل يطارد هدفاً متحرّكاً — يُحسّن سياسته بناءً على دالة قيمة لا تزال مضطربة وغير موثوقة.

حلّ TD3 بسيط: لا تُحدّث الممثّل (وشبكات الهدف) إلا مرة واحدة لكل $d$ تحديث للناقدين، وعملياً $d = 2$. هذا يمنح الناقدين فرصة لإنتاج تقديرات أدقّ قبل أن يبني الممثّل قراراته عليها.

تصوّر ملاّحاً ورسّام خرائط يعملان معاً. لو غيّر الملاّح مساره كلما خطّ رسّام الخرائط خطّاً أوّلياً، لتعرّج المركب بشكل فوضوي. الأفضل أن ننتظر حتى تنضج المسودّة، ثم نعدّل المسار. التأخير يفكّ الارتباط بين أخطاء الممثّل وأخطاء الناقد.

الإصلاح الثالث هو تنعيم سياسة الهدف. عند حساب قيمة Q المستهدفة، يُضيف TD3 ضجيجاً عشوائياً مقتطعاً إلى الفعل الذي تختاره سياسة الهدف:

$\tilde{a}' = \pi_{\phi'}(s') + \epsilon, \quad \epsilon \sim \text{clip}(\mathcal{N}(0, \sigma), -c, c)$

هذا نوع من التنظيم. بدونه، قد يُشكّل الناقد قمماً حادة وضيّقة على سطح Q — مناطق يؤدي فيها تغيير بسيط في الفعل إلى قفزة كبيرة في القيمة المقدَّرة. الممثّل يتعلّم استغلال هذه القمم، لكنها في الحقيقة لا تُمثّل أفعالاً جيدة — إنما مجرّد ضجيج في التقدير.

إضافة الضجيج إلى فعل الهدف تُجبر الناقد على إعطاء تقديرات متقاربة لأفعال متشابهة. لو كان فعل ما يبدو جيداً فقط بسبب ارتفاع عشوائي في تقدير Q، فالأفعال المجاورة له (المُزاحة بالضجيج) ستحصل على تقديرات أقل، مما يُسوّي ذلك الارتفاع. هذا هو المقابل المستمر لفكرة فصل الأفعال في التعلّم المزدوج للقيمة.

يبني TD3 على DDPG بإضافة الإصلاحات الثلاثة معاً. حلقة التدريب تسير كالتالي:

1. اسحب دفعة صغيرة من الانتقالات $(s, a, r, s')$ من ذاكرة الإعادة.
2. احسب فعل الهدف المُضطرب: $\tilde{a}' = \pi_{\phi'}(s') + \text{clip}(\epsilon, -c, c)$.
3. احسب الهدف: $y = r + \gamma \min_{i=1,2} Q_{\theta_i'}(s', \tilde{a}')$.
4. حدّث كلا الناقدين بتصغير متوسط مربع الخطأ: $\mathcal{L}(\theta_i) = \mathbb{E}[(y - Q_{\theta_i}(s,a))^2]$.
5. كل $d$ خطوة، حدّث الممثّل بالصعود على تدرّج السياسة: $\nabla_\phi J(\phi) = \mathbb{E}[\nabla_a Q_{\theta_1}(s,a)|_{a=\pi_\phi(s)} \nabla_\phi \pi_\phi(s)]$.
6. كل $d$ خطوة، نفّذ تحديثاً ناعماً لجميع شبكات الهدف: $\theta' \leftarrow \tau\theta + (1-\tau)\theta'$.

الخوارزمية تستخدم البنية التحتية نفسها لـ DDPG — ذاكرة الإعادة وشبكات الهدف والتدرّج الحتمي للسياسة — لكن التعديلات الثلاثة ترفع استقرارها وأداءها بشكل ملحوظ.

اختُبر TD3 على سبع مهام تحكّم مستمر من بيئة OpenAI Gym عبر محاكي MuJoCo — تشمل HalfCheetah وHopper وWalker2d وAnt وReacher وInvertedPendulum وInvertedDoublePendulum. تفوّق على DDPG وSAC (في حينه) وPPO وغيرها من خطوط الأساس في كل بيئة.

أبرز ما كشفته دراسة الاستئصال:

• الناقدان التوأمان وحدهما يُزيلان الجزء الأكبر من المبالغة في التقدير، لكنهما لا يكفيان لإصلاح الأداء بالكامل.
• التحديث المتأخّر وحده يُساعد على تثبيت التعلّم، لكن أثره أصغر.
• تنعيم الهدف وحده يعمل كمُنظِّم ويُعزّز المتانة.
• الثلاثة معاً يحقّقون أفضل النتائج — الإصلاحات متكاملة وليست زائدة عن بعضها.

كشفت الورقة أيضاً أن السمعة السيئة لـ DDPG كانت ناتجة جزئياً عن تحيّز المبالغة في التقدير: حين ضُبطت المبالغة، تبيّن أن إطار DDPG الأساسي يعمل أفضل بكثير ممّا كان يعتقده المجتمع البحثي.

كل إصلاح يستهدف حلقة مختلفة في سلسلة الفشل نفسها:

مبالغة في التقدير ← أهداف خاطئة ← ناقد سيء ← ممثّل سيء ← مبالغة أكبر

الناقدان التوأمان يكسران الحلقة الأولى: المبالغة تُحدّ بأخذ الأدنى. تنعيم الهدف يكسر الحلقة الثانية: الأهداف المُضطربة تمنع الناقد من تشكيل قمم يمكن استغلالها. التحديث المتأخّر يكسر الحلقة الثالثة: الممثّل لا يطارد تقديرات ناقد لم تنضج بعد.

أزل أيّاً من الإصلاحات وستجد السلسلة تعود للتشكّل جزئياً. لهذا تُظهر دراسة الاستئصال تراجعاً في الأداء عند حذف أي إصلاح بمفرده — كل واحد يُعالج نمط فشل مستقل، وأنماط الفشل تُغذّي بعضها.

الإسهام الأعمق لـ TD3 لا يكمن في حيلة بعينها — بل في إثبات أن الهندسة المنهجية المتأنّية لأفكار معروفة قادرة على إحداث فرق جذري في أداء خوارزمية. التعلّم المزدوج للقيمة وشبكات الهدف وتنظيم الضجيج — كلها كانت موجودة قبل هذه الورقة. ما فعله TD3 هو دمجها ضمن بنية الممثّل-الناقد، مع تشخيص دقيق لـأسباب فشل DDPG، وتقديم دليل عملي على أن الحلّ بسيط. أحياناً يكون البحث الأكثر تأثيراً ليس اختراع فكرة جديدة — بل فهم لماذا لم تنجح الأفكار الموجودة.