التعلُّم بالفرق الزمني و TD-Gammon

ألعاب اللوح ظلّت ساحة اختبار مفضّلة لأبحاث الذكاء الاصطناعي منذ أن اقترح شانون خوارزمية شطرنج عام 1950، وبنى صامويل برنامجه لتعلّم الداما عام 1959. السبب بديهي: القواعد محدّدة، والرقعة مكشوفة بالكامل، وقياس الأداء واضح ومباشر. لكنّ لعبة الطاولة فرضت تحدّياً من نوع مختلف.

أولاً، فضاء الحالات ضخم جداً — أكثر من $10^{20}$ وضعية ممكنة. البحث الشامل الذي نجح في الشطرنج والداما لم يكن خياراً هنا، لأنّ النرد يُضاعف التعقيد: في كل مستوى هناك 21 توليفة نرد محتملة، ولكل توليفة نحو 20 نقلة قانونية، فتصبح نسبة التفرّع بالمئات — وهذا يجعل البحث العميق مستحيلاً عملياً.

ثانياً، الأسلوب التقليدي القائم على تصميم دالة تقييم يدوياً بالتعاون مع خبراء بشريين — ما يُعرف بهندسة المعرفة — وصل إلى طريق مسدود. قناعات الخبراء حول استراتيجية الطاولة كانت تتبدّل مع الوقت، فكان المبرمجون يبنون على أساس غير ثابت.

ثالثاً، التعلّم بالإشراف من أوضاع صنّفها خبراء (كما في Neurogammon، برنامج تيساورو السابق) لم يُنتج سوى مستوى لعب متوسط. بيانات التدريب كانت تحمل تحيّزات البشر ونقاطهم العمياء، فوضعت سقفاً لما تستطيع الشبكة العصبية تعلّمه.

الفكرة المحورية في التعلّم بالفرق الزمني أبسط مما تبدو: بدل أن تنتظر حتى نهاية المباراة لتعرف هل كنت على صواب، عدِّل تقديراتك بعد كل نقلة بالاستناد إلى تغيّر توقعاتك.

تخيّل راصد طقس لا ينتظر آخر الأسبوع ليعرف هل أصاب في توقع يوم الاثنين. بدلاً من ذلك، يُقارن توقعه يوم الاثنين بما توقعه يوم الثلاثاء — فإن كان توقع الثلاثاء أقرب للواقع (لأنّ معلوماته أحدث)، فإنّ الفرق بينهما يُعطيه درساً فورياً يُحسّن به أسلوبه.

في TD-Gammon، تُنتج الشبكة العصبية تنبؤاً $V(s_t)$ يُمثّل تقديرها لاحتمال الفوز انطلاقاً من الحالة الحالية للرقعة $s_t$. بعد النقلة التالية تظهر حالة جديدة $s_{t+1}$، فتحسب الشبكة تنبؤاً محدّثاً $V(s_{t+1})$. الفرق بين هذين التنبؤين هو ما نسمّيه خطأ الفرق الزمني — وهو الإشارة التي تدفع تعديل الأوزان.

بنية TD-Gammon كانت برسبترون متعدد الطبقات بسيطاً يضمّ طبقة خفية واحدة. لا يوجد هنا ابتكار معماري — السرّ كله كان في طريقة التدريب.

ترميز المُدخلات: حالة الرقعة تُحوَّل إلى متجه يضمّ نحو 198 سمة خام: عدد قطع الأبيض والأسود على كل موقع من المواقع الأربعة والعشرين، إضافةً إلى قطع الشريط والقطع الخارجة. في الإصدارات اللاحقة أُضيفت سمات مصمّمة يدوياً مأخوذة من Neurogammon، فارتفع العدد إلى نحو 294 مُدخلاً.

الطبقة الخفية: تضمّ من 40 إلى 80 عقدة خفية بتنشيط سيني. كل عقدة تأخذ مجموعاً موزوناً لكل المُدخلات ثم تُمرّره عبر دالة سينية لتُنتج قيمة بين 0 و1. هذه اللاخطية هي ما يُمكّن الشبكة من تعلّم تقييمات حسّاسة للسياق — مثلاً أن قيمة السيطرة على نقطة معيّنة تعتمد على توزيع بقية القطع على الرقعة.

المُخرجات: أربع عقد بتنشيط سيني تُمثّل احتمال كل نتيجة: فوز الأبيض، فوز الأبيض بغامون، فوز الأسود، فوز الأسود بغامون. من هذه الاحتمالات الأربعة تُشتقّ القيمة المتوقعة الإجمالية للوضعية.

جوهر TD-Gammon يكمن في حلقة اللعب الذاتي. لنتتبّع خطواتها:

1. بداية من الصفر. الشبكة تنطلق بـأوزان عشوائية — أي أنّ سياستها الأولى مجرد ضوضاء. في هذه المرحلة تكون المباريات فوضوية وتمتد لمئات النقلات لأن اللاعبَيْن لا يملكان أي منطق.

2. لعب مباراة كاملة. في كل دور، تُمرّر الشبكة كل وضعية ناتجة عن النقلات القانونية لتقييمها، ثم تختار النقلة التي تُعطي أعلى احتمال فوز مُقدَّر — وهذا ما يُعرف بالاختيار الجشع.

3. تحديث فوري بعد كل نقلة. بعد كل نقلة تحسب قاعدة TD(λ) خطأ الفرق الزمني — أي الفرق بين التنبؤ الحالي والتنبؤ التالي — وتُعدّل الأوزان بناءً عليه. عند انتهاء المباراة تحلّ النتيجة الفعلية (فوز أو خسارة أو غامون) محل التنبؤ التالي.

4. تكرار. الشبكة تلعب مباراة جديدة ضد نسختها المُحدَّثة. ومع تراكم مئات الآلاف من المباريات يتحسّن مستوى اللعب بشكل ملحوظ.

حدّد تيساورو ثلاثة عوامل تُفسّر نجاح التعلّم بالفرق الزمني في الطاولة، وكلّها يحمل دروساً تتجاوز هذه اللعبة بعينها:

1. الدقة النسبية أهم من المطلقة. تقديرات TD-Gammon لـدالة القيمة كانت تنحرف أحياناً بعُشر نقطة — خطأ يبدو كبيراً لمستوى الأساتذة. لكنّ المفتاح أنّ الشبكة حين تُقارن نقلتين مُرشّحتين يكون الخطأ في كلا التقديرين متقارباً (لأنّ الوضعيتين الناتجتين متشابهتان)، فتتلاغى الأخطاء ويبقى الترتيب صحيحاً. هذه خاصية قوية في تعميم الشبكات العصبية.

2. العشوائية حليف لا عدو. رميات النرد أجبرت الشبكة على استكشاف تشكيلة واسعة من الأوضاع خلال اللعب الذاتي. في الألعاب الحتمية كالشطرنج، قد ينغلق اللعب الذاتي على استراتيجيات متّسقة داخلياً لكنها هشّة أمام أي خصم آخر. النرد يعمل كآلية استكشاف طبيعية تمنع هذا الانغلاق.

3. المفاهيم الخطية تتشكّل أولاً. في المراحل الأولى من التدريب تعلّمت الشبكة قواعد بسيطة مستقلة عن السياق — مثل «القطع المكشوفة خطر» و«النقاط المغلقة قوة» — وهي قواعد يمكن التعبير عنها بدوال خطية للمُدخلات الخام. هذه القواعد أعطت مستوى لعب يتفوّق على المبتدئين، وشكّلت قاعدة صلبة تعلّمت فوقها الشبكة مفاهيم لاخطية أعقد تراعي السياق. هذا التسلسل الذي يُشبه التعلّم المنهجي — الخطي ثم اللاخطي — قد يكون السبب في نجاح التدريب من أوزان عشوائية بالأصل.

تأثير TD-Gammon تجاوز علوم الحاسب إلى عالم اللعبة نفسها. أسلوب لعبه خالف في مواضع كثيرة ما اعتاده الخبراء — وفي عدة حالات تبيّن أنه على حق.

أشهر مثال: على مدى 30 عاماً أجمع المحترفون على تفضيل أسلوب «الإيداع» (Slotting) كنقلة افتتاحية مع رميات مثل 2-1 و4-1 و5-1. لكنّ تحليل TD-Gammon بالمحاكاة كشف أنّ فصل القطع الخلفية أفضل فعلاً. جرّب كبار اللاعبين هذا الأسلوب ونجحوا في البطولات، حتى «اختفى الإيداع فعلياً من المنافسات». آلة تعلّمت من الصفر بلا أي معرفة بشرية أطاحت بعقود من القناعات الراسخة.

كتب كيت وولزي، المصنّف الثالث عالمياً: «حكم TD-Gammon على الأوضاع أفضل بكثير من حكمي... وقدرته على التمييز بين اللعب الجريء والحذر — وهو لبّ لعبة الطاولة — لا توصف إلا بالمذهلة.»

رسّخ TD-Gammon ثلاثة مبادئ ظلّ أثرها حاضراً لعقود في أبحاث الذكاء الاصطناعي: اللعب الذاتي قادر على اكتشاف استراتيجيات تتجاوز مستوى البشر، والشبكات العصبية قادرة على تقريب دوال القيمة في فضاءات حالات هائلة، والتعلّم بالفرق الزمني يستطيع حلّ مشكلة إسناد الفضل في المباريات الطويلة.

هذه المبادئ بعينها — بعد تطعيمها بشبكات أعمق وبحث شجرة مونت كارلو وقدرة حوسبية ضخمة — صارت العمود الفقري لـAlphaGo التي هزمت بطل العالم في لعبة غو عام 2016. ثم عمّمت AlphaZero المنهج على الشطرنج والشوغي، وأتقنت كلاً منها من الصفر في ساعات. الخط الممتد من TD-Gammon إلى AlphaZero واضح تماماً: لعب ذاتي + تقييم بالشبكات العصبية + تعلّم من الفروق الزمنية.

الدرس الأعمق الذي تركه TD-Gammon لا يتعلّق بلعبة الطاولة بقدر ما يتعلّق بقوة التعلّم بالممارسة. نظام ينطلق من لا شيء، يلعب ضد نفسه، ولا يتعلّم إلا من أخطاء تنبؤاته — ومع ذلك يتفوّق على خبرة بشرية تراكمت عبر عقود. هذا المبدأ — أنّ اللعب الذاتي مع إشارة التعلّم المناسبة قادر على اكتشاف ما لا يستطيع أيّ معلّم تلقينه — يظلّ واحداً من أعمق الأفكار في تاريخ الذكاء الاصطناعي.