خوارزميات إحصائية بسيطة لتتبُّع التدرُّج في التعلُّم بالتعزيز للشبكات العصبية

في التعلّم الموجَّه، الوصفة واضحة: الشبكة تتنبّأ بـ $\hat{y}$، تقارنها بالهدف المعروف $y$، ثم تُمرّر الخطأ عبر الانتشار العكسي لحساب تدرّج دالّة الفقد $\nabla_\theta L(y, \hat{y})$. كل وزن في الشبكة يعرف بالضبط في أيّ اتجاه يتحرك وبأيّ مقدار — لأنّ الإجابة الصحيحة موجودة للمقارنة.

التعلّم بالتعزيز يكسر هذه الوصفة في موضعين جوهريين:

• لا توجد إجابة صحيحة. العميل يختار الفعل $a$ في الحالة $s$، والبيئة تُعيد مكافأة عدديّة $r$ فقط. لا أحد يُخبر العميل ماذا كان ينبغي أن يفعل، مما يعني أنّه لا يوجد «هدف» لحساب الخطأ بالنسبة إليه.
• البيئة صندوق أسود لا يمكن اشتقاقه. المكافأة تأتي من البيئة — محرك فيزيائي، لعبة، مُقيِّم بشري — ولا نملك معادلات رياضية تصفها. لذلك لا يمكنك تمرير التدرّج عبرها كما تفعل في الانتشار العكسي المعتاد.

قبل ويليامز، كانت الحلول المتاحة محدودة وباهظة: إمّا بناء نموذج رياضي كامل للبيئة (وهو غير عملي لبيئات معقّدة)، أو تجربة تعديل كل وزن على حدة ومراقبة تأثيره على المكافأة — وهذا يتطلّب آلاف التجارب لكل خطوة تحديث واحدة في الشبكات الكبيرة.

الخطوة الأولى لويليامز أنيقة في بساطتها: بدلًا من أن تُخرج الشبكة فعلًا واحدًا حتميًّا (مثل «تحرّك يمينًا»)، اجعلها تُخرج توزيعًا احتماليًّا على جميع الأفعال المتاحة — أي نسبة مئوية لكل فعل تُعبّر عن مدى ترجيح الشبكة له. مثلًا: «يمين 60%، يسار 25%، أعلى 10%، أسفل 5%». ثم يُسحب الفعل الفعلي عشوائيًّا وفقًا لهذه النسب.

هذا التوزيع يُسمّى السياسة العشوائية ويُرمز له بـ $\pi_\theta(a \mid s)$ — أي احتمال اختيار الفعل $a$ حين تكون الشبكة في الحالة $s$ بأوزانها الحالية $\theta$. لفضاء أفعال منفصل، تحسب طبقة المخرجات هذا التوزيع عبر دالّة Softmax (تمامًا كما في التصنيف المعتاد).

لماذا العشوائية مهمّة هنا؟ لأنّ العميل يحتاج إلى تجريب أفعال مختلفة ليكتشف أيّها يعطي مكافآت أعلى. لو كان يختار دائمًا الفعل الأعلى احتمالًا، لن يستكشف بدائل قد تكون أفضل — وهذا هو جوهر معضلة الاستكشاف مقابل الاستغلال.

الهدف النهائي: إيجاد أوزان $\theta$ تُعظِّم المكافأة الإجمالية المتوقّعة:

$J(\theta) = \mathbb{E}_{\pi_\theta}\left[\sum_t r_t\right]$

والسؤال الذي طرحه ويليامز: هل يمكننا حساب $\nabla_\theta J(\theta)$ — أي اتجاه تعديل الأوزان الذي يزيد المكافأة المتوقّعة — حتى نصعد في اتجاه التدرّج كما نفعل في التعلّم الموجَّه؟

هنا نصل إلى الجوهر الرياضي. المشكلة واضحة: نريد حساب $\nabla_\theta \mathbb{E}_{\pi_\theta}[R]$ — أي في أيّ اتجاه نُعدّل الأوزان لزيادة المكافأة المتوقّعة. لكنّ التوقّع هنا محسوب على مسارات مُعايَنة من السياسة ذاتها التي نحاول تحسينها. وبما أنّ المعاينة عملية عشوائية منفصلة، لا يمكن تمرير التدرّج عبرها مباشرةً — فهي ليست دالّة رياضية قابلة للاشتقاق.

الحيلة التي وجدها ويليامز تعتمد على خاصية بسيطة ومعروفة في التفاضل. الفكرة: بدلًا من اشتقاق الاحتمال مباشرةً، اشتقّ لوغاريتم الاحتمال ثم اضربه في الاحتمال نفسه: $\nabla_\theta \, p_\theta(x) = p_\theta(x) \, \nabla_\theta \log p_\theta(x)$

لماذا هذا مفيد؟ لأنّ الطرف الأيسر يتطلّب اشتقاق التوزيع الاحتمالي بالكامل (وهو صعب)، بينما الطرف الأيمن يحتوي على $p_\theta(x)$ كمُعامل ضرب — وهذا يعني أنّنا نستطيع تحويل التكامل إلى توقّع يمكن تقديره ببساطة عبر أخذ عيّنات. الهويّة نفسها مجرد قاعدة السلسلة: بما أنّ $\frac{d}{d\theta}\log f = \frac{1}{f}\frac{df}{d\theta}$، ضرب الطرفين في $f$ يُعطي المعادلة أعلاه.

الآن نُطبّقها على المكافأة المتوقّعة:

الآن نجمع كل القطع معًا في خوارزمية عملية:

1. شغّل جولة تفاعلية كاملة. دع السياسة العشوائية $\pi_\theta$ تتفاعل مع البيئة من البداية إلى النهاية، وسجّل كل شيء: الحالات $s_t$ التي مرّ بها العميل، والأفعال $a_t$ التي اختارها، والمكافآت $r_t$ التي تلقّاها.
2. احسب العائد لكل خطوة. العائد هو مجموع المكافآت المستقبلية مع تخفيض تدريجي للمكافآت البعيدة: $G_t = \sum_{k=0}^{T-t} \gamma^k r_{t+k}$. معامل التخفيض $\gamma$ يجعل المكافآت القريبة أهمّ من البعيدة — لأنّ المكافأة بعد 100 خطوة أقلّ يقينًا من المكافأة في الخطوة التالية.
3. احسب اتجاه التحسين. لكل خطوة، اضرب العائد في اتجاه زيادة احتمال الفعل المُختار: $\Delta\theta = \alpha \, G_t \, \nabla_\theta \log \pi_\theta(a_t \mid s_t)$.
4. حدّث الأوزان. طبّق $\theta \leftarrow \theta + \Delta\theta$.
5. كرّر من الخطوة 1 مع جولة جديدة.

هذه طريقة مونت كارلو — أي أنّها تنتظر حتى تنتهي الجولة بالكامل قبل تحديث أيّ وزن (لا تُقدّر المكافآت المستقبلية، بل تنتظر رؤيتها فعلًا). ميزة هذا أنّ العائد $G_t$ تقدير غير متحيّز للمكافأة الحقيقية المتوقّعة. عيبه: أنّ الانتظار حتى نهاية الجولة قد يكون بطيئًا جدًّا.

تدرّج السياسة في REINFORCE يشير في المتوسط إلى الاتجاه الصحيح — أي أنّه غير متحيّز. لكنّ مشكلته العملية أنّ تذبذبه هائل بين جولة وأخرى. السبب أنّ العائد $G_t$ يعتمد على مسار كامل من الأفعال العشوائية، فمسار محظوظ قد يحصل على $G_t = 100$، والمسار التالي يحصل على $G_t = -50$. يتأرجح اتجاه التحديث بعنف من جولة لأخرى، فيصبح التعلّم بطيئًا للغاية — كأنّك تحاول المشي في خطّ مستقيم لكنّ الريح تدفعك يمينًا ويسارًا بشكل عشوائي.

حلّ ويليامز أنيق: اطرح قيمة مرجعية $b(s)$ تُسمّى خطّ الأساس من العائد قبل ضربه في التدرّج:

$\nabla_\theta J \approx \frac{1}{N}\sum_{i} (G_t^{(i)} - b(s_t)) \nabla_\theta \log \pi_\theta(a_t^{(i)} \mid s_t)$

الفكرة بسيطة: بدلًا من أن تسأل «هل كانت المكافأة كبيرة؟»، اسأل «هل كانت المكافأة أفضل من المتوقّع؟». إن حصلت على +10 في حالة يكون متوسّطها +8، فالفرق +2 فقط — تحديث صغير. لكن إن حصلت على +10 في حالة متوسّطها +2، فالفرق +8 — تحديث كبير. هذا يُمركز الإشارة حول الصفر ويُقلّل التذبذب جذريًّا.

الجميل رياضيًّا أنّ أيّ خطّ أساس لا يعتمد على الفعل $a$ يُحافظ على عدم تحيُّز التقدير (لأنّ $\mathbb{E}_a[\nabla_\theta \log \pi_\theta(a|s)] = 0$ — وهذا يعني أنّ طرح ثابت من المكافأة لا يُغيّر الاتجاه المتوسّط للتدرّج، فقط يُهدّئ تذبذبه).

أفضل خطّ أساس ممكن يقترب من دالّة قيمة الحالة $V^\pi(s)$ — أي المكافأة المتوقّعة من هذه الحالة فصاعدًا. هذه الملاحظة قادت مباشرةً إلى بنية الفاعل والناقد: شبكة «الناقد» تتعلّم تقدير $V^\pi(s)$، وشبكة «الفاعل» تستخدم الفرق $G_t - V(s_t)$ — الذي يُسمّى الأفضلية — كوزن لتدرّج السياسة. فلا يُعزَّز الفعل إلّا إذا أعطى نتيجة أفضل من المتوقّع، لا مجرد نتيجة إيجابية.

من أجمل جوانب هذه الورقة أنّ REINFORCE لا تحتاج آلية تدريب جديدة — بل تستخدم الانتشار العكسي ذاته الذي تعرفه الشبكات العصبية أصلًا. الفرق الوحيد هو ما يُمرَّر عكسيًّا عبر الشبكة.

في التعلّم الموجَّه: تُمرّر تدرّج الخطأ $\nabla \text{loss}(y, \hat{y})$ — أي الفرق بين ما توقّعته الشبكة وما كانت الإجابة الصحيحة.

في REINFORCE: تُمرّر تدرّج لوغاريتم احتمال الفعل المُختار $\nabla \log \pi_\theta(a|s)$، ثم تضرب التحديث الناتج في المكافأة المُعدّلة $G_t - b$. بقية العملية — الانتشار العكسي عبر الطبقات، حساب التدرّجات الجزئية — تبقى كما هي تمامًا.

هذا الاستقلال عن البنية أمر بالغ الأهمية: سواء كانت شبكة السياسة شبكة التفافية أو تكرارية أو — كما اتّضح لاحقًا — شبكة مُحوِّلات، فإنّ صياغة ويليامز تعمل دون تعديل. الشرط الوحيد: أن تُنتج طبقة المخرجات توزيعًا احتماليًّا قابلًا للاشتقاق على الأفعال. وبهذا أعطت الورقة التعلّم بالتعزيز مفتاحًا للاستفادة من أيّ تطوّر مستقبلي في بنى الشبكات العصبية.

معادلة تدرّج السياسة التي أثبتتها هذه الورقة هي واحدة من أكثر المعادلات تأثيرًا في تاريخ تعلّم الآلة. لفهم مدى تأثيرها، تتبّع كيف تطوّرت عبر ثلاثة عقود — مع ملاحظة أنّ الهويّة الرياضية الأصلية ظلّت في قلب كل هذه التطوّرات: