خوارزمية تحسين السياسة القريبة (PPO)

في التعلم المعزز، تحدّد السياسة $\pi_\theta(a|s)$ احتمال كل فعل في كل حالة. يجمع العميل مسارات من البيئة، يحسب العوائد، ثم يحدّث المعاملات $\theta$ لزيادة احتمال الأفعال الجيدة. هذه هي فكرة تدرُّج السياسة التي تقوم عليها REINFORCE.

السؤال الجوهري هنا: ما المقدار المناسب لكل تحديث؟

• خطوة صغيرة جداً تجعل التعلّم بطيئاً بشكل مؤلم — كل مسار يُستخدَم مرة ثم يُهمَل.
• خطوة كبيرة جداً قد تُنهي السياسة: تقفز إلى منطقة سيئة، تجمع بيانات رديئة منها، وتدخل في دوامة انحدار. تحديث سيئ واحد قد يمحو مكاسب آلاف التحديثات السابقة.

هذا ليس مجرد قلق نظري. في الواقع، التدريب بتدرُّج السياسة المباشر مشهور بعدم استقراره، وضبط معدَّل التعلُّم فيه أقرب إلى فنّ منه إلى علم.

عالجت TRPO مشكلة التجاوز بفرض قيد صارم: تباعد KL بين السياسة القديمة والجديدة يجب أن يبقى تحت عتبة $\delta$. هذا يضمن نظرياً تحسّناً رتيباً — كل تحديث إمّا يُحسِّن السياسة أو لا يفعل شيئاً.

لكن ثمن هذا الضمان ليس بسيطاً:

• تتطلب حساب مصفوفة معلومات فيشر (مشتقات من الرتبة الثانية)، فتصبح كل خطوة مكلفة حوسبياً.
• التحسين المقيّد يعتمد على التدرج المترافق مع بحث خطي — تطبيقه معقّد وتشخيص أخطائه أصعب.
• لا تتوافق مع البنى التي تتشارك المعاملات بين شبكة السياسة ودالة القيمة، ولا مع تقنيات التنظيم كـالإسقاط العشوائي.

السؤال الذي طرحته PPO: هل يمكن تحقيق استقرار TRPO بلا أكثر من تدرُّجات الرتبة الأولى ودالة هدف ذكية؟

تنطلق PPO من دالة الهدف البديلة نفسها التي تستخدمها TRPO، لكنها تستبدل القيد الصارم بآلية بسيطة بشكل لافت. نبدأ بتعريف نسبة الاحتمال:

$r_t(\theta) = \frac{\pi_\theta(a_t | s_t)}{\pi_{\theta_\text{old}}(a_t | s_t)}$

هذه النسبة تقيس مقدار اختلاف السياسة الجديدة عن القديمة بالنسبة لفعل معيّن. حين تكون $r = 1$ فالسياستان متطابقتان. حين تكون $r > 1$ فالسياسة الجديدة تعطي هذا الفعل احتمالاً أعلى، وحين تكون $r < 1$ تعطيه احتمالاً أقل.

دالة الهدف البديلة بلا قيود تأخذ الشكل:

$L^{CPI}(\theta) = \hat{\mathbb{E}}_t \left[ r_t(\theta) \, \hat{A}_t \right]$

حيث $\hat{A}_t$ هي الميزة المقدَّرة — أي مقدار تفوّق هذا الفعل على المتوسط. تعظيم هذه الدالة يدفع السياسة لتكرار الأفعال الجيدة بوتيرة أعلى. لكن بلا أي قيد، لا شيء يمنع $r_t(\theta)$ من النمو بلا حدود، فتصبح التحديثات مدمّرة.

لماذا نأخذ الحد الأدنى؟ فكّر فيه كحدٍّ تشاؤمي يحمي من المبالغة في التحديث. حين تكون الميزة موجبة ($\hat{A}_t > 0$ — أي أن الفعل أفضل من المتوسط)، يضع القصّ سقفاً على المكسب حين تتجاوز $r$ قيمة $1+\varepsilon$: «هذا الفعل جيد، لكنك زدت احتماله بما يكفي». وحين تكون الميزة سلبية ($\hat{A}_t < 0$ — فعل أسوأ من المتوسط)، يمنع القصّ $r$ من الانخفاض دون $1-\varepsilon$: «هذا الفعل سيئ، لكن لا تُنقص احتماله بسرعة مفرطة».

ما يفعله القصّ عملياً هو إنشاء منطقة مسطحة في سطح دالة الهدف — هضبة يصبح فيها التدرُّج صفراً. حالما تتغيّر السياسة بالقدر الكافي، لا يجد المُحسِّن أي ميل يتبعه فيتوقف تلقائياً. لا حلّال قيود، لا رياضيات من الرتبة الثانية، لا مصفوفة فيشر — فقط min وclip.

عتبة القصّ ε تتحكم في الموازنة بين الاستقرار وسرعة التعلم. قيمة كبيرة (مثلاً 0.3) تسمح بتغييرات أوسع في السياسة عند كل تحديث — تعلُّم أسرع لكن مع خطر فقدان الاستقرار. قيمة صغيرة (مثلاً 0.1) تُضيّق نطاق التحديثات — تدريب أكثر أماناً لكنه أبطأ. تعتمد الورقة ε = 0.2 كقيمة افتراضية، وقد أثبتت فعاليتها عبر مهام متنوعة جداً، من ألعاب Atari إلى المشي الروبوتي في بيئات المحاكاة.

فكّر في ε كأنه حدّ السرعة على طريق سريع: حدٌّ منخفض جداً يُبطئ حركة المرور، وحدٌّ مرتفع جداً يتسبب في حوادث. القيمة 0.2 تمثّل النقطة المثالية — سريعة كفاية للتعلم الفعّال، ومنضبطة كفاية لتجنب الانهيار.

تقترح PPO أيضاً نسخة ثانية — PPO بالعقوبة — تستبدل القصّ بعقوبة على تباعد KL. الفكرة: أضف حدّ عقوبة $\beta \cdot KL[\pi_{\theta_\text{old}}, \pi_\theta]$ إلى دالة الهدف، ثم اجعل $\beta$ يتكيّف تلقائياً:

• إن كان تباعد KL بعد التحديث كبيراً جداً (أعلى من $1.5 \times d_\text{targ}$)، زِد $\beta$ — أي شُدّ القيد.
• إن كان تباعد KL صغيراً جداً (أقل من $d_\text{targ} / 1.5$)، أنقِص $\beta$ — أي أرخِ القيد.

بذلك تضبط العقوبة شدّتها ذاتياً. عملياً، يُفضَّل PPO-Clip لأنه أبسط وأكثر متانة، لكن PPO بالعقوبة يظلّ خياراً مفيداً حين تحتاج تحكماً مباشراً أدقّ في مقدار ابتعاد السياسة الجديدة عن القديمة.

خوارزمية PPO كاملةً بسيطة بشكل أنيق. في كل تكرار:

1. اجمع البيانات — شغّل السياسة الحالية في البيئة لمدة $T$ خطوة زمنية عبر $N$ فاعل متوازٍ، لتحصل على دفعة من ثلاثيات (حالة، فعل، مكافأة).
2. قدّر الميزة — استخدم التقدير المعمّم للميزة (GAE) لحساب $\hat{A}_t$ عند كل خطوة زمنية. يوازن GAE بين الانحياز والتباين من خلال المعلمة $\lambda$.
3. حسِّن — لمدة $K$ دورة تدريبية، قسِّم الدفعة إلى دفعات مصغرة وطبِّق الانحدار التدريجي العشوائي على دالة الهدف المُجمَّعة:

$L_t(\theta) = L_t^{CLIP}(\theta) - c_1 L_t^{VF}(\theta) + c_2 S[\pi_\theta](s_t)$

حيث $L^{VF}$ هي خسارة دالة القيمة (تدريب الناقد) و$S$ مكافأة الإنتروبيا التي تشجّع الاستكشاف. 4. كرّر — اجعل $\theta_\text{old} \leftarrow \theta$ وعُد للخطوة الأولى.

الملاحظة الجوهرية هنا: بما أن دالة الهدف المقصوصة تمنع التحديثات المدمّرة، يمكنك بأمان إعادة استخدام الدفعة نفسها لعدة دورات ($K = 3\text{–}10$) بدل التخلّص منها بعد خطوة تدرُّج واحدة. وهذا يرفع كفاءة استخدام العيّنات بشكل ملحوظ.

اختبرت الورقة PPO على مجالين رئيسيين:

• التحكم المستمر (MuJoCo): روبوتات مُحاكاة تتعلم المشي والركض والقفز. حققت PPO أداءً يعادل TRPO أو يتفوّق عليه في غالبية المهام، مع كونها أبسط بكثير.
• ألعاب Atari: 49 لعبة أركيد كلاسيكية. نافست PPO أداء A2C (النسخة المتزامنة من A3C) وACER (طريقة فاعل-ناقد خارج السياسة) وتفوّقت في أغلب الألعاب، بمجموعة واحدة من المعلمات الفائقة.

النتيجة الأهم: حققت PPO توازناً ممتازاً بين كفاءة استخدام العيّنات (كمّ البيانات المطلوبة)، وبساطة التطبيق، وسرعة التدريب الفعلية. لم تستطع أي خوارزمية أخرى آنذاك منافستها في هذه الأبعاد الثلاثة مجتمعة.

يوضّح التسلسل الزمني أدناه كيف تحوّلت PPO إلى العمود الفقري لمواءمة الذكاء الاصطناعي الحديث وما بعدها. ما بدأ كأسلوب تحسين عملي للروبوتات أصبح المحرّك وراء أكثر أنظمة الذكاء الاصطناعي تأثيراً في العقد الأخير.