التعلُّم بالتنبؤ عبر أساليب الفارق الزمني

يطرح سوتون التحدي الجوهري على شكل مسألة تنبؤ متعدد الخطوات: لديك سلسلة من الحالات $x_1, x_2, \ldots, x_m$، ثم تظهر النتيجة $z$ في النهاية. المطلوب هو بناء تنبؤ $P_t$ عند كل خطوة يُقدِّر $z$ بأعلى دقة ممكنة.

النهج التقليدي في التعلم المُوجَّه يُعامل كل خطوة كزوج مستقل من المشاهدة والنتيجة $(x_t, z)$، ويُحدِّث الأوزان باستخدام قاعدة Widrow-Hoff (قاعدة دلتا):

الأمر أشبه بأستاذ جامعي يجمع كراسات الامتحانات كلها ولا يُصحّحها إلا بعد انتهاء الفصل. أداء الطلاب في اختبارات منتصف الفصل — وهو مؤشر ثريّ على مستوى استيعابهم — يضيع تماماً لأنه لا يُستخدم حتى تصدر الدرجة النهائية. أساليب الفارق الزمني تعمل بأسلوب مختلف: تُعطي تغذية راجعة بعد كل اختبار قصير، فكل إشارة وسيطة تُصقل التنبؤ الذي يليها.

الملاحظة المحورية التي اكتشفها سوتون هي أن الخطأ الكلّي $z - P_t$ يمكن تفكيكه إلى مجموع تلسكوبي من فروق التنبؤات المتعاقبة:

$z - P_t = \sum_{k=t}^{m} (P_{k+1} - P_k)$

حيث $P_{m+1} \stackrel{\text{def}}{=} z$. الفكرة أنك لست بحاجة لانتظار $z$: يكفي أن تُحدِّث بعد كل خطوة بالاعتماد على مقدار التغيّر من $P_t$ إلى $P_{t+1}$ فقط. هذا هو جوهر تعلم الفارق الزمني.

يُعرِّف سوتون طيفاً كاملاً من أساليب الفارق الزمني يتحكم فيه المعامل $\lambda \in [0, 1]$. قاعدة التحديث هي:

فكّر في $\lambda$ كأنه مقبض ذاكرة. ارفعه للحد الأقصى ($\lambda = 1$) وسيمنح المتعلم فضلاً متساوياً لكل المشاهدات السابقة — تماماً كما يفعل التعلم المُوجَّه. أنزِله للصفر ($\lambda = 0$) ولن تُؤثّر إلا الخطوة الأخيرة. أما القيم بينهما فتمنح الخطوات القريبة فضلاً أكبر بشكل أسّي مقارنةً بالبعيدة، كأنها بقعة ضوء تخفت كلما ابتعدت.

اللمسة الأنيقة هنا أن الترجيح الأسّي $\lambda^{t-k}$ يمتلك صيغة تزايدية بسيطة. نُعرِّف أثر الأهلية $e_t$:

$e_t = \nabla_w P_t + \lambda \, e_{t-1}$

هذا الأثر عبارة عن مجموع متجدّد يُخمِّد التدرجات القديمة بمعامل $\lambda$ عند كل خطوة. بفضله يستطيع TD($\lambda$) أن يعمل بذاكرة ثابتة لكل خطوة — دون الحاجة لتخزين التاريخ بأكمله.

لاختبار الأساليب تجريبياً، صمّم سوتون تجربة أنيقة في بساطتها: مسار عشوائي محدود على 7 حالات (من A إلى G). كل مسار يبدأ من الحالة الوسطى D، وعند كل خطوة يتحرك يساراً أو يميناً باحتمال متساوٍ. إذا وصل إلى A (الحافة اليسرى) تكون النتيجة $z = 0$، وإذا وصل إلى G (الحافة اليمنى) تكون النتيجة $z = 1$. المهمة: تنبؤ احتمال الوصول إلى G انطلاقاً من كل حالة.

الاحتمالات الحقيقية هي $\frac{1}{6}, \frac{2}{6}, \frac{3}{6}, \frac{4}{6}, \frac{5}{6}$ للحالات من B إلى F. رغم أن هذه المسألة من أبسط الأنظمة الديناميكية التي يمكن تصوّرها، إلا أنها تكشف بوضوح تفوّق أساليب الفارق الزمني.

توصّل سوتون إلى نتيجتين لافتتين. في نظام العروض المتكررة (عرض مجموعة التدريب نفسها حتى التقارب)، حقّق TD(0) خطأ جذر متوسط مربعات أقل من Widrow-Hoff عند كل قيمة $\lambda < 1$. وفي نظام العرض الوحيد (تمريرة واحدة على البيانات)، كانت أساليب الفارق الزمني عند $\lambda \approx 0.3$ الأفضل أداءً، لكن جميع قيم $\lambda < 1$ تفوّقت على الأسلوب المُوجّه.

السؤال الطبيعي: كيف يخسر Widrow-Hoff وهو أسلوب مُثبَت رياضياً أنه يُقلّل خطأ مجموعة التدريب؟ الجواب أن تقليل الخطأ على بيانات التدريب ليس هو نفسه تقليل الخطأ على بيانات المستقبل. ما يحدث هو أن TD(0) يتقارب نحو تقديرات الأرجحية العظمى المتوافقة مع سلسلة ماركوف الفعلية، وهذه التقديرات تُعمِّم بشكل أفضل على بيانات جديدة.

عند $\lambda = 0$ تصل قاعدة التحديث إلى أبسط صورها وأكثرها تميّزاً:

المقدار $(P_{t+1} - P_t)$ يُعرف اليوم بـ**خطأ الفارق الزمني** ويُرمز له بـ $\delta_t$ في أدبيات التعلم المعزز. هذا هو إشارة التعلم الجوهرية في التعلم المعزز الحديث: في كل مرة يُحدِّث فيها تعلم Q أو SARSA أو بنية الممثل-الناقد أوزانها، فإنها تحسب نسخة من هذا الخطأ.

التمهيد الذاتي — أي استخدام تقديرك الخاص لتحسين تقديرك — يبدو دائرياً للوهلة الأولى، لكن سوتون أثبت أنه ناجح. الحدس وراء ذلك أن $P_{t+1}$ يتضمن خطوة إضافية واحدة من المعلومات الحقيقية مقارنةً بـ $P_t$: فقد رأى الحالة الفعلية التالية. هذه المشاهدة الإضافية تجعل $P_{t+1}$ معياراً أدق من النتيجة النهائية $z$ التي قد تكون بعيدة ومُشوَّشة بعوامل كثيرة.

أعمق إسهام في الورقة هو البرهان على أن TD(0) الخطي يتقارب. هذه نتيجة لافتة لأن الأسلوب يتعلم من تنبؤاته هو، وهي خاطئة في البداية. الأساليب السابقة الشبيهة بالفارق الزمني (برنامج الداما لصامويل، ولواء الدلو لهولاند) نجحت عملياً لكنها افتقرت إلى أي ضمان نظري بـالتقارب.

يُبرهن سوتون على مبرهنتين لبيانات مولَّدة من سلاسل ماركوف الممتصة بمتجهات مشاهدة مستقلة خطياً:

المبرهنة 2 (التقارب): إذا كان معدَّل التعلُّم $\alpha$ صغيراً بما يكفي، فإن TD(0) الخطي يتقارب في القيمة المتوقعة نحو التنبؤات المثالية — أي القيم المتوقعة الحقيقية للنتائج عند كل حالة.

المبرهنة 3 (الأمثلية): تحت العروض المتكررة لمجموعة تدريب محدودة، يتقارب TD(0) الخطي نحو تقديرات الأرجحية العظمى — أي التنبؤات التي ستكون مثالية لو أن بيانات التدريب وصفت العملية الحقيقية بدقة تامة. أما Widrow-Hoff فيتقارب نحو التقديرات التي تُقلّل خطأ مجموعة التدريب فحسب، وهي عادةً دون المثلى للبيانات المستقبلية.

يوسّع سوتون أساليب الفارق الزمني لتتجاوز تنبؤ نتيجة نهائية واحدة إلى تنبؤ التكاليف التراكمية التي تتجمع على طول التسلسل. إذا كان $c_{t+1}$ هو التكلفة المتكبَّدة بين الخطوتين $t$ و$t+1$، يصبح هدف التنبؤ:

$z_t = \sum_{k=t}^{m} c_{k+1}$

في هذه الحالة يتعمم خطأ الفارق الزمني إلى $(c_{t+1} + P_{t+1} - P_t)$، وهذه بالضبط الصيغة المستخدمة في التعلم المعزز الحديث. وعند إدخال مُعامل الخصم $\gamma$، نحصل على خطأ الفارق الزمني المُخصَّم:

$\delta_t = c_{t+1} + \gamma P_{t+1} - P_t$

هذه هي إشارة التحديث التي استخدمها سوتون نفسه في الناقد التكيُّفي الاستدلالي (1984)، وهي تحديداً الإشارة التي تعتمد عليها كل خوارزمية تعلم معزز حديثة قائمة على تقدير القيمة.

يحتل تعلم الفارق الزمني موقعاً وسطاً فريداً بين نهجين كلاسيكيين:

البرمجة الديناميكية (بيلمان، 1957) تحسب القيم انطلاقاً من نموذج معروف للبيئة: $V(s) = \sum_a \pi(a|s) \sum_{s'} p(s'|s,a) [r + \gamma V(s')]$. النتائج دقيقة لكنها تشترط توفُّر نموذج كامل — احتمالات الانتقال والمكافآت لكل زوج حالة-فعل.

أساليب مونت كارلو تُقدِّر القيم بحساب متوسط العائد التراكمي الكامل: $V(s) \approx \text{متوسط } G_t$ عبر الحلقات. لا تحتاج نموذجاً، لكنها مضطرة للانتظار حتى نهاية كل حلقة.

الفارق الزمني يجمع أفضل ما في النهجين: مثل مونت كارلو، يتعلم من التجربة المباشرة دون نموذج. ومثل البرمجة الديناميكية، يُحدِّث تقديراته بالاعتماد على تقديرات أخرى (التمهيد الذاتي)، فيتعلم عند كل خطوة دون انتظار نهاية الحلقة.