طرق مُتَّجَه ميل السياسة في التعلُّم المعزَّز مع تقريب الدوال

قبل هذه الورقة، كانت الفكرة السائدة في التعلّم المعزّز واضحة ومباشرة: قدِّر دالة قيمة الفعل $Q(s, a)$ — التي تقيس جودة اتخاذ الفعل $a$ في الحالة $s$ — ثم اختر دائماً الفعل ذا القيمة الأعلى. هذا الأسلوب يعمل جيداً حين يكون لكل زوج (حالة، فعل) خانة مستقلة في جدول. لكن في المسائل الحقيقية، فضاء الحالات ضخم أو متصل، فلا بدّ من تقريب الدوال — كأن نستعمل شبكة عصبية أو نموذجاً خطياً يُعمِّم عبر حالات لم يرها من قبل.

المشكلة تظهر لحظة إدخال تقريب الدوال. السياسة في هذا المنهج هي $\arg\max_a Q(s, a)$، أي أنّ تغييراً ضئيلاً في المعاملات قد يقلب أيّ فعل هو «الأفضل»، فتقفز السياسة قفزة حادّة. والأخطر أنّ هذه القفزات تتسلسل: سياسة مختلفة تزور حالات مختلفة، فيتغيّر توزيع بيانات التدريب، وهذا بدوره يغيّر تقديرات القيمة ويُولِّد مزيداً من القفزات. وقد ثبت رياضياً أنّ Q-learning وSARSA تتشعّبان حتى في مسائل بسيطة حين تُقترنان بمقرِّبات دوال.

الفكرة الجوهرية هنا هي قلب المنهج رأساً على عقب: بدلاً من بناء دالة قيمة ثم استخلاص السياسة منها، أعطِ السياسة نفسها معاملات خاصة بها وحسِّنها مباشرةً. لتكن $\pi(s, a, \theta)$ احتمال اتخاذ الفعل $a$ في الحالة $s$ بمعاملات $\theta$. السياسة هنا قد تكون شبكة عصبية، أو softmax على سمات خطية، أو أيّ دالة قابلة للاشتقاق تُخرج توزيعاً احتمالياً على الأفعال.

نُعرِّف مقياس أداء $\rho(\pi)$ يمثّل المكافأة المتوقعة على المدى الطويل تحت السياسة $\pi$. الفكرة بسيطة بشكل مدهش: احسب $\frac{\partial \rho}{\partial \theta}$ — أي اتجاه التحسين — ثم حدِّث المعاملات في ذلك الاتجاه. الميزة الحاسمة أنّ تغييرات صغيرة في $\theta$ تُنتج تغييرات صغيرة في احتمالات الأفعال، وهذه بدورها تُحدث تغييرات سلسة في توزيع الحالات — لا قفزات ولا انقطاعات.

لكنّ السؤال المحوري: هل يمكن حساب هذا المتّجه فعلاً؟ الأداء $\rho$ يعتمد على السياسة التي تحدّد أيّ الحالات يزورها الوكيل، وهذا بدوره يؤثّر في المكافأة. للوهلة الأولى، يبدو أنّ الاشتقاق عبر توزيع الحالات بالكامل أمر مستعصٍ حسابياً. وهنا بالضبط تأتي المبرهنة بمفاجأتها.

ما تقوله المبرهنة مدهش حقاً: لكي تحسب متّجه ميل الأداء، لست بحاجة إلى اشتقاق توزيع الحالات $d^\pi(s)$. يمكنك التعبير عن المتّجه بالكامل بدلالة كمّيات تستطيع معاينتها مباشرةً من تجربة الوكيل. لكن قبل أن نرى الصيغة، لنُرتِّب المفاهيم الأساسية.

تصوّر وكيلاً يتفاعل مع عملية قرار ماركوفية. في كل خطوة زمنية، يكون الوكيل في حالة $s$، يتخذ فعلاً $a$ وفق السياسة $\pi(s, a, \theta)$، يحصل على مكافأة $r$، ثم ينتقل إلى الحالة التالية. دالة قيمة الفعل $Q^\pi(s, a)$ تقيس جودة اتخاذ الفعل $a$ في الحالة $s$ ثم الالتزام بالسياسة $\pi$ من تلك اللحظة فصاعداً. أما توزيع الحالات $d^\pi(s)$ فيصف مدى تواتر زيارة الوكيل لكل حالة تحت هذه السياسة.

بعبارة بسيطة: شغِّل سياستك، وفي كل حالة تمرّ بها اسأل: «كم يزيد تعديل $\theta$ من احتمال الأفعال الجيدة؟» الإجابة — مجموعة على كل الحالات والأفعال، مرجّحة بتواتر الزيارة وبجودة كل فعل — تعطيك الاتجاه الدقيق للتحسين.

الجمال الحقيقي في المبرهنة يكمن فيما هو غائب من الصيغة. حين تغيّر $\theta$ فإنك تغيّر السياسة، وسياسة مختلفة تقود الوكيل إلى حالات مختلفة. لذلك قد تظنّ أنك بحاجة إلى حساب $\frac{\partial d^\pi(s)}{\partial \theta}$، وهو ما يعني الاشتقاق عبر ديناميكيات البيئة بالكامل — وهذا مستعصٍ عملياً. لكنّ المبرهنة تُثبت أنّ هذا الحدّ يختفي تماماً: توزيع الحالات يعمل فقط كأوزان ترجيح، وأنت تحصل على هذه الأوزان مجاناً بمجرد تشغيل السياسة وجمع التجارب.

أبسط تطبيق عملي للمبرهنة هو خوارزمية REINFORCE التي ابتكرها ويليامز. الفكرة: بدلاً من أن تعرف دالة قيمة الفعل $Q^\pi(s, a)$ بدقة، استخدم العائد الفعلي $R_t$ — أي مجموع المكافآت من اللحظة $t$ حتى نهاية الحلقة — كعيّنة غير منحازة. قاعدة التحديث تصبح:

$\Delta \theta_t \propto \frac{\partial \ln \pi(s_t, a_t)}{\partial \theta} R_t$

الحدّ $\frac{\partial \ln \pi}{\partial \theta}$ يُعرف بـدالة النتيجة (Score Function)، وهو يشير في الاتجاه الذي يرفع احتمال الفعل المتَّخذ. حين نضربه في $R_t$ يصبح التحديث كبيراً إذا أدّى الفعل إلى مكافأة عالية، وصغيراً أو معكوساً إذا كانت المكافأة ضعيفة. الخوارزمية ببساطة: شغّل حلقة كاملة، احسب العوائد لكل خطوة، ثم حدِّث المعاملات — هذا هو REINFORCE.

لكنّ المشكلة الكبرى هي التباين. العائد $R_t$ عيّنة وحيدة مشوَّشة من $Q^\pi$، فقد تُصادف حلقة محظوظة تدفع المعاملات بقوة في اتجاه ليس جيداً فعلياً في المتوسط. النتيجة: تعلّم بطيء لأنّ نسبة الإشارة إلى الضوضاء منخفضة.

خوارزمية REINFORCE تعتمد على عوائد الحلقات الكاملة — وهذا أسلوب مونت كارلو: غير منحاز لكنه عالي التباين ويفرض عليك الانتظار حتى تنتهي الحلقة بالكامل. السؤال الطبيعي: ماذا لو استعضنا عن العائد الكامل بتقدير من دالة قيمة مُتعلَّمة؟

هذه هي بنية الممثّل-الناقد. الممثّل هو السياسة $\pi(s, a, \theta)$ — الذي يقرّر ماذا يفعل الوكيل. والناقد هو دالة قيمة مُتعلَّمة $f_w(s, a)$ — مهمّته تقييم جودة قرارات الممثّل. الممثّل يستخدم تقييمات الناقد لحساب متّجهات ميل السياسة، بينما يتعلّم الناقد من تجربة الممثّل عبر أساليب الفرق الزمني.

لكنّ هنا تكمن المخاطرة: إن كان تقريب الناقد غير دقيق، يدخل انحياز على تقدير متّجه الميل وقد يتقارب النظام نحو حلّ خاطئ. المبرهنة الثانية في الورقة تعالج هذه المشكلة بتحديد شرط التوافق — علاقة رياضية محدّدة بين بنية الناقد ومعاملات السياسة تضمن دقّة تقدير متّجه الميل رغم استخدام التقريب.

المبرهنة الثانية تجيب عن سؤال حاسم: متى يمكن لناقدٍ مُتعلَّم $f_w$ أن يحلّ محلّ دالة قيمة الفعل الحقيقية $Q^\pi$ في صيغة متّجه ميل السياسة دون إدخال انحياز؟ الجواب يتطلّب شرطين:

الشرط الأول — السمات المتوافقة. يجب أن يتطابق متّجه ميل الناقد مع دالة النتيجة الخاصة بالسياسة: $\frac{\partial f_w(s,a)}{\partial w} = \frac{\partial \ln \pi(s,a)}{\partial \theta}$. المعنى العملي: الناقد يكون خطياً في السمات ذاتها التي تصف حساسية السياسة لتغيّرات المعاملات.

الشرط الثاني — تصغير الخطأ. يجب أن تُصغِّر معاملات الناقد $w$ متوسط مربع الخطأ المرجّح بتوزيع الحالات والأفعال تحت $\pi$. بمعنى آخر: الناقد قد دُرِّب حتى التقارب.

حين يتحقّق الشرطان معاً، يصبح خطأ التقريب في $f_w$ متعامداً تماماً مع اتجاه متّجه ميل السياسة، فلا يُفسده البتّة. هذه ليست نتيجة «تقريبية» — إنها دقيقة رياضياً.

المبرهنة الثالثة هي التي تجمع كل الخيوط. تقول إنه إذا التزم الممثّل والناقد بشرط التوافق، وكانت المشتقات الثانية لـالسياسة محدودة، ومعدّل التعلّم يتناقص بالشكل المناسب، فإنّ سلسلة السياسات تتقارب نحو نقطة مثلى محلية: $\lim_{k \to \infty} \frac{\partial \rho(\pi_k)}{\partial \theta} = 0$.

كانت هذه أول نتيجة رياضية تُثبت أنّ تكرار السياسة مع تقريب دوال عام وقابل للاشتقاق يتقارب أصلاً. قبل ذلك، كانت أساليب دالة القيمة قد ثبت أنها تتشعّب مع تقريب الدوال. هذه المبرهنة فتحت الطريق أمام توسيع نطاق التعلّم المعزّز باستخدام الشبكات العصبية — وهو بالضبط ما تحقّق بعد عقد ونصف مع ظهور التعلّم المعزّز العميق.

برهان المبرهنة الأولى يوضّح لماذا يختفي توزيع الحالات من متّجه الميل. المفتاح هو فرد دالة قيمة الحالة بشكل تكراري.

ابدأ من $\frac{\partial V^\pi(s)}{\partial \theta}$ وطبّق قاعدة الضرب على $\sum_a \pi(s,a) Q^\pi(s,a)$. ستظهر لك حدّان: الأول هو متّجه ميل السياسة مضروباً في $Q^\pi$ — وهذا يمثّل الأثر المباشر. الثاني هو السياسة مضروبة في متّجه ميل $Q^\pi$ — وهذا هو الأثر غير المباشر الذي يمرّ عبر الحالات المستقبلية. حين نفرد $Q^\pi$ باستخدام معادلة بِلمان ونكرّر الفرد، تتداخل الحدود غير المباشرة لتشكّل مجموعاً على زيارات الحالات المستقبلية. وعند الجمع على التوزيع المستقر $d^\pi$ تتلاشى حدود الحالات المستقبلية مع حدود الحالة الراهنة — لأنّ $d^\pi$ بحكم تعريفه مستقرّ — فلا يبقى إلا الأثر المباشر.

في الصياغة البديلة التي تبدأ من حالة أولى مع خصم، يعمل التلاشي بآلية مختلفة لكنّ النتيجة واحدة: احتمال الوصول إلى كل حالة مستقبلية من $s_0$ في $k$ خطوة، مجموعاً على كل $k$ مع عامل خصم $\gamma^k$، يعطينا تعريف $d^\pi(s)$ بشكل مباشر.

في كل مرة يُضبط نموذج لغوي بتغذية راجعة بشرية، وفي كل مرة يتعلّم روبوت المشي، وفي كل مرة يكتشف وكيل ألعاب استراتيجية جديدة — مبرهنة متّجه ميل السياسة تعمل في الخلفية. ساتون وزملاؤه لم يحلّوا مجرّد مشكلة تقارب، بل منحوا التعلّم المعزّز محرّكه الحوسبي.