بين عمليات ماركوف القرارية وشبه الماركوفية — إطار التجريد الزمني في التعلّم المعزَّز

في عملية ماركوف القرارية المعيارية، يختار الوكيل إجراءً واحداً في كل خطوة زمنية. هذا يكفي في البيئات البسيطة، لكن في البيئات المعقدة — كروبوت يتنقل داخل مبنى أو شخصية لعبة تنجز مهمات — تفصل آلاف الخطوات البدائية بين الوكيل وهدفه. ينتج عن ذلك ثلاث مشكلات جوهرية:

• بطء التعلّم. إشارة المكافأة شحيحة ومتأخرة. إجراء بدائي في الخطوة 1 قد لا يحصل على نصيبه من مكافأة جاءت عند الخطوة 1000، وهذا صميم مشكلة إسناد الأثر.

• انعدام إعادة الاستخدام. سلوك «اذهب إلى الباب» الذي تعلّمه الوكيل في مهمة ما يجب أن يتعلّمه من الصفر في مهمة أخرى، لأنه لا توجد آلية لتغليفه كوحدة مستقلة يمكن نقلها.

• انفجار التخطيط. المخطط القائم على نموذج يحتاج إلى محاكاة كل خطوة بدائية على حدة، فيصبح التخطيط للأفق الزمني البعيد مستحيلاً من الناحية الحسابية.

الخيار مسار إجراءات ممتد زمنياً — أي مهارة قابلة لإعادة الاستخدام تُجمّع عدة خطوات بدائية في إجراء تجريدي واحد. رياضياً، الخيار $o$ ثلاثيّ يتكوّن من $\langle \mathcal{I}, \pi, \beta \rangle$:

• مجموعة البدء $\mathcal{I} \subseteq \mathcal{S}$ — الحالات التي يمكن فيها تفعيل هذا الخيار. فكّر فيها كمدخل الطريق السريع: لا يمكنك ركوب الطريق السريع إلا إذا كنت قرب أحد مداخله.

• السياسة الداخلية $\pi: \mathcal{S} \times \mathcal{A} \to [0,1]$ — قاعدة اتّخاذ القرار الخاصة بالخيار. بمجرد تفعيله، تختار هذه السياسة إجراءً بدائياً عند كل خطوة. هي بمثابة «تعليمات القيادة» على الطريق السريع.

• شرط الإنهاء $\beta: \mathcal{S} \to [0,1]$ — احتمال أن ينتهي الخيار في كل حالة. حين ينتهي الخيار، تعود السيطرة إلى السياسة العليا التي تختار الخيار التالي. هذا يمثّل «مخرج الطريق السريع».

الإجراءات البدائية ما هي إلا حالة خاصة من الخيارات: مجموعة البدء تشمل كل الحالات، والسياسة تنفّذ إجراءً واحداً فقط، واحتمال الإنهاء يساوي 1 (تتوقف دائماً بعد خطوة واحدة). إذن الخيارات تُعمِّم فعلاً مفهوم الإجراء في عمليات ماركوف القرارية.

كيف يستخدم الوكيل الخيارات عملياً؟ تطرح الورقة نموذج النداء والعودة، وهو يشبه استدعاء الدوال في البرمجة:

1. يصل الوكيل إلى الحالة $s$ ويستشير سياسة فوق الخيارات $\mu$ لاختيار خيار $o$.
2. يُستدعى الخيار $o$: سياسته الداخلية $\pi$ تتولّى القيادة وتختار الإجراءات البدائية خطوة بخطوة.
3. بعد كل خطوة بدائية توصل إلى حالة جديدة $s'$، تُحسب دالة الإنهاء $\beta(s')$. باحتمال $\beta(s')$ ينتهي الخيار وتعود السيطرة إلى $\mu$ التي تختار الخيار التالي.

قوة هذا النموذج في بساطته. هو ينشئ تسلسلاً هرمياً طبيعياً: السياسة العليا $\mu$ تقرّر ماذا نفعل (أيّ مهارة نستدعي)، والسياسة الداخلية $\pi$ لكل خيار تقرّر كيف ننفّذ ذلك (أيّ إجراءات بدائية نتّخذ). ولأن الإجراءات البدائية نفسها خيارات يكون فيها $\beta = 1$، يستطيع الوكيل المزج بين المهارات التجريدية والتحكم الدقيق بسلاسة.

لماذا يحمل عنوان الورقة عبارة «بين عمليات ماركوف القرارية وشبه الماركوفية»؟ لأن الخيارات تحوّل عملية ماركوف القرارية المعيارية إلى ما يسلك سلوك عملية شبه ماركوف القرارية.

في عملية ماركوف القرارية العادية، كل انتقال يستغرق خطوة زمنية واحدة بالضبط. أما في عملية شبه ماركوف القرارية فالانتقالات قد تستغرق عدداً متغيراً من الخطوات — وكلمة «شبه» تشير تحديداً إلى رفع قيد الخطوة الثابتة. حين ينفّذ الوكيل خياراً ما، يتفاوت الزمن بين قراراته: خيار «اذهب إلى الباب» قد يأخذ 5 خطوات، بينما خيار «التقط الشيء» يأخذ 12 خطوة.

النتيجة الأنيقة: عملية ماركوف القرارية مُضافاً إليها الخيارات تكافئ رياضياً عملية شبه ماركوف القرارية على مستوى اختيار الخيارات. يترتب على ذلك أن النظرية الكلاسيكية لعمليات شبه ماركوف القرارية بالكامل — معادلات بلمان، ضمانات التقارب، السياسات المثلى — تنطبق مباشرة. لا حاجة لنظرية جديدة؛ الإطار الموجود يمتد بصورة طبيعية.

في تعلّم Q المعياري، السؤال هو: «ما قيمة اتّخاذ الإجراء $a$ في الحالة $s$؟» مع الخيارات يتحوّل السؤال إلى: «ما قيمة بدء الخيار $o$ في الحالة $s$؟» والإجابة يجب أن تأخذ في الحسبان أن الخيار قد يعمل لعدة خطوات يجمع خلالها مكافآت مخصومة قبل أن ينتهي.

معادلة بلمان لـدالة قيمة الخيار $Q(s, o)$ تقول ببساطة: قيمة بدء الخيار $o$ في الحالة $s$ تساوي المجموع المتوقع للمكافآت المخصومة أثناء تنفيذ $o$، مضافاً إليه القيمة المخصومة للحالة التي ينتهي عندها $o$ عند اختيار أفضل خيار تالٍ.

تطرح الورقة نهجين لتعلّم قيم الخيارات، والفارق بينهما هو مفتاح فهم أقوى إسهامات هذا العمل.

تعلّم Q شبه الماركوفي يعامل كل خيار كصندوق أسود مُغلق. ينتظر حتى ينتهي الخيار، ويرصد المكافأة الإجمالية المخصومة، ثم يحدّث قيمة ذلك الخيار. النتيجة صحيحة لكنها مُسرفة: لو نفّذ الوكيل الخيار A لعشرين خطوة، فهو لا يتعلّم شيئاً عن الخيارات B وC وD طوال تلك الخطوات، رغم أن ما جرى قد يتوافق تماماً مع ما كانت ستفعله تلك الخيارات.

تعلّم Q داخل الخيار ينظر إلى ما يحدث داخل الخيار الجاري. عند كل خطوة بدائية يسأل: «أيّ خيارات أخرى كانت ستتّخذ نفس الإجراء؟» ثم يحدّثها جميعاً دفعة واحدة. الفائدة كبيرة من حيث كفاءة استغلال العيّنات: تدفق تجربة واحد يعلّم الوكيل عن خيارات كثيرة في آنٍ واحد.

يمكن قراءة قاعدة التحديث هذه كمزج سلس بين حالتين. الحدّ $(1 - \beta_o(s'))$ يمثّل احتمال أن يستمر الخيار $o$، بينما $\beta_o(s')$ يمثّل احتمال انتهائه. في حالة الاستمرار، يُقدّر الوكيل القيمة من $Q(s', o)$ — أي من الاستمرار في الخيار نفسه. وفي حالة الانتهاء، يُقدّرها من $\max_{o'} Q(s', o')$ — أي من أفضل خيار جديد متاح. الترجيح بين الحالتين يتعامل مع الإنهاء الاحتمالي بصورة طبيعية.

بالطريقة نفسها التي يبني بها التعلّم المعزَّز القائم على النموذج تصوُّراً لكيفية تأثير الإجراءات البدائية على البيئة، يعرّف إطار الخيارات نماذج الخيارات (تُسمّى أيضاً نماذج متعددة الأزمنة) وظيفتها التنبؤ بنتيجة تنفيذ خيار بأكمله.

نموذج الخيار $o$ يجيب عن سؤالين انطلاقاً من أي حالة ابتدائية $s$:

• أين سأنتهي؟ احتمال انتقال مخصوم $p_{ss'}^{o}$ يعطي احتمال الوصول إلى الحالة $s'$ بعد انتهاء الخيار $o$، مخصوماً بمقدار $\gamma^k$ حيث $k$ عدد الخطوات المتّخذة.

• كم مكافأة سأجمع؟ مكافأة مخصومة متوقعة $r_s^{o}$ تلخّص المكافآت المحصّلة أثناء التنفيذ.

بهاتين الكميتين يستطيع الوكيل التخطيط على مستوى الخيارات دون محاكاة كل خطوة بدائية. بدلاً من «خطوة، خطوة، خطوة... خمسين مرة»، يسأل ببساطة: «لو نفّذتُ اذهب-إلى-الباب، أين سأكون وكم مكافأة سأحصّل؟» — ويقفز إلى الأمام في خطوة تخطيط واحدة.

سؤال طبيعي يطرح نفسه: ماذا لو اكتشف الوكيل خياراً أفضل وهو في منتصف تنفيذ الخيار الحالي؟ هل يلزمه الاستمرار حتى النهاية؟

تُثبت الورقة مبرهنة المقاطعة: إذا استطاع الوكيل في أي حالة أثناء تنفيذ خيار ما أن يجد خياراً أعلى قيمة، فبإمكانه مقاطعة الخيار الحالي والتحوّل إلى الأفضل — ولن يتراجع الأداء الإجمالي أبداً.

أهمية هذه النتيجة أن الوكيل لا يحتاج إلى خيارات مصمَّمة بإتقان مسبق. حتى الخيارات التي لا تبلغ المستوى الأمثل تظل لبنات بناء مفيدة: يبدأ الوكيل تنفيذها ويقاطعها متى وجد ما هو أفضل. بذلك توفّر مبرهنة المقاطعة آلية لتحسين السياسة على مستوى الخيارات.

توضّح الورقة فكرة الخيارات من خلال عوالم شبكية متعددة الغرف — بيئات تتكوّن من غرف متصلة بممرات. كل خيار «اذهب إلى الممر» يتكوّن من:

• مجموعة البدء: جميع الحالات داخل الغرفة الحالية

• السياسة الداخلية: أقصر مسار نحو الممر المستهدف

• الإنهاء: التوقف عند بلوغ الممر أو مغادرة الغرفة

بعدد قليل من خيارات الممرات إلى جانب الإجراءات البدائية، يستطيع الوكيل التنقل بين الغرف أسرع بكثير مما لو اعتمد على الإجراءات البدائية وحدها. حالات الممرات تمثّل أهدافاً فرعية طبيعية — نقاط عنق زجاجة تربط مناطق مختلفة من فضاء الحالات.

قبل إطار الخيارات، كان التعلّم المعزَّز الهرمي حقلاً مبعثراً تتعدد فيه الأساليب دون صياغة رياضية موحّدة. هذه الورقة جمعت تلك الأساليب تحت مظلة رياضية واحدة صارمة وعملية في آنٍ واحد.

تأثير الإطار يمتد إلى ما هو أبعد من النظرية. بإثباته أن الخيارات تعميم طبيعي للإجراءات — تقع بالضبط بين عملية ماركوف القرارية أحادية الخطوة وعملية شبه ماركوف القرارية متغيرة الخطوات — أعطى المجتمع البحثي لغة مشتركة ومجموعة خوارزميات مُثبتة الصحة. الأعمال اللاحقة بُنيت مباشرةً على هذه الأسس: