خوارزمية تعلّم مُعزَّز عامة تتقن الشطرنج والشوغي والغو عبر اللعب الذاتي

قبل ألفازيرو، كان Stockfish — أقوى محرك شطرنج في العالم — نتاج عقود من العمل البشري المتراكم. خبراء الشطرنج كتبوا دوال تقييم يدوية تُعطي درجات دقيقة لمواضع القطع وبنى البيادق وأمان الملك وآلاف الأنماط الأخرى. ثم بنوا فوقها بحث ألفا-بيتا بأساليب تقليم وتمديد مخصّصة تستكشف ملايين الأوضاع في الثانية.

في الشوغي (الشطرنج الياباني)، بنى مجتمع مختلف تماماً محرك Elmo بأسلوب مشابه لكن بتفاصيل مختلفة — قيم قطع أخرى، وقواعد لإسقاط القطع المأسورة، وأنماط ترقية خاصة. وفي الغو القصة نفسها: أنظمة خبيرة مبنيّة على أنماط رسمها بشر.

المشكلة الجوهرية كانت واضحة: لا شيء ينتقل من لعبة إلى أخرى. محرك الشطرنج لا يعرف شيئاً عن الشوغي، ومحرك الغو لا يعرف شيئاً عن الشطرنج. الذكاء كان محبوساً داخل هندسة كل مجال على حدة، وكل لعبة جديدة كانت تتطلّب فريقاً جديداً من الخبراء يبدأ من الصفر.

تقوم ألفازيرو على ثلاثة مكوّنات تتكامل في حلقة تحسّن ذاتي مستمرّة:

1. شبكة عصبية ذات رأسين. تأخذ الشبكة وضعية الرقعة وتُخرج شيئين معاً: سياسة $\mathbf{p}$ وهي توزيع احتمالي على النقلات القانونية يُرشد إلى النقلات الواعدة، وقيمة $v$ وهي رقم واحد يقدّر احتمال الفوز من هذا الوضع. بنية الشبكة مكوّنة من كتل متبقّية مع تسوية الدُّفعات — وهي اللبنات ذاتها المستخدمة في ResNet.

2. بحث شجرة مونت كارلو موجَّه بالشبكة. بدلاً من تفتيش كل شيء كما في بحث ألفا-بيتا، يستعين هذا البحث بالشبكة كمرشد: رأس السياسة يقول «ابدأ من هنا» ورأس القيمة يقول «هذا الوضع يستحق التعمّق فيه». يُجري البحث مئات المحاكاة من الوضع الحالي ويبني شجرة مركّزة على التفرّعات الأكثر أهمية.

3. التعلُّم المُعزَّز عبر اللعب الذاتي. يلعب النظام ملايين المباريات ضد نفسه. بعد كل مباراة تصبح النتيجة الفعلية (فوز أو تعادل أو خسارة) هي إشارة التدريب. تتعلّم الشبكة أمرين: أن تتنبّأ بالنقلات التي يوصي بها البحث (هدف السياسة)، وأن تتنبّأ بمن سيفوز فعلاً (هدف القيمة). كلّما تحسّنت الشبكة صار البحث أدقّ، وكلّما صار البحث أدقّ وَلّد بيانات تدريب أجود تُحسّن الشبكة أكثر — حلقة حميدة تتسارع مع الوقت.

بنية الشبكة بسيطة بشكل مدهش. تُمثَّل حالة الرقعة على شكل حزمة مستويات من السمات — في الشطرنج مثلاً تشمل مواضع القطع لآخر 8 نقلات، وحقوق التبييت، وعدّاد النقلات، والجانب صاحب الدور (119 مستوى إدخال لرقعة 8×8). تمرّ هذه الحزمة عبر:

• طبقة التفافية بـ256 مرشّحاً مع تسوية الدُّفعات.
• 19 كتلة متبقّية، كل واحدة تحوي طبقتين التفافيتين مع تسوية الدُّفعات وتفعيل ReLU، إضافةً إلى وصلة تجاوز تتيح للمعلومات المرور مباشرةً (التصميم ذاته المستخدم في ResNet). هذه الكتل تستخلص سمات هرمية من الوضع — أنماطاً داخل أنماط.
• رأس السياسة يُخرج توزيعاً احتمالياً على جميع النقلات القانونية عبر التفاف تليه طبقة متصلة بالكامل ثم سوفت ماكس.
• رأس القيمة يُخرج رقماً واحداً في المدى [-1, +1] يمثّل النتيجة المتوقعة (فوز أو تعادل أو خسارة) عبر التفاف وطبقات متصلة بالكامل وتفعيل tanh.

البنية واحدة للألعاب الثلاث — ما يتغيّر فقط هو طريقة ترميز المدخلات وحجم المخرجات بحسب أبعاد الرقعة وعدد النقلات الممكنة. الشبكة نفسها لا تعرف أيّ لعبة تلعب.

محركات الشطرنج التقليدية تعتمد على بحث ألفا-بيتا: تدرس كل نقلة وكل ردّ وكل ردّ مضاد، ولا تُهمل إلا الفروع التي ثبت أنها أسوأ. الطريقة شاملة لكنها مُبذِّرة — أغلب الأوضاع لا تستحق تحليلاً عميقاً من الأساس.

ألفازيرو تتّبع أسلوباً مختلفاً: بحث شجرة مونت كارلو مع قاعدة اختيار تُعرف بـPUCT (مُتنبِّئ مع حدّ ثقة أعلى للأشجار). عند كل عقدة في الشجرة، تختار الخوارزمية النقلة التي توازن بين شيئين: الاستغلال — أي تفضيل النقلات التي أثبتت نجاحها — والاستكشاف — أي تجربة نقلات تراها الشبكة واعدة لكنها لم تُختبر بما يكفي.

صيغة PUCT تختار النقلة التي تُعظّم مجموع حدّين. الحدّ الأول يعبّر عن الاستغلال: كم كانت هذه النقلة ناجحة في المحاكاات السابقة. الحدّ الثاني يعبّر عن الاستكشاف: يرتفع للنقلات التي ترى الشبكة أنها واعدة لكنها لم تُجرَّب كثيراً بعد. بهذا الشكل يضمن البحث أنه يثق بحدس الشبكة ويتحقّق منه في الوقت نفسه عبر المحاكاة الفعلية.

لمنع البحث من التقوقع في مسارات ضيّقة، يُضاف تشويش ديريكليه إلى الاحتمالات المبدئية للشبكة عند العقدة الجذرية. الفكرة تشبه رمي سهم عشوائي على الرقعة بين حين وآخر — تُجبر الخوارزمية على تجربة نقلات ربما أغفلتها. معامل التشويش $\alpha$ يتناسب عكسياً مع عدد النقلات القانونية: $\alpha = 0.3$ في الشطرنج (نحو 30 نقلة)، و$\alpha = 0.15$ في الشوغي (نحو 80)، و$\alpha = 0.03$ في الغو (نحو 250 نقلة).

عملية التدريب دورة مستمرّة. نبدأ بـشبكة عصبية مُهيَّأة بأوزان عشوائية — نقلاتها في البداية عشوائية تماماً. نستخدم هذه الشبكة لتوجيه بحث شجرة مونت كارلو أثناء لعب مباريات ضد النفس. بعد كل مباراة نحتفظ بكل وضعية مع تسميتين:

• سياسة البحث $\boldsymbol{\pi}$ — توزيع عدد الزيارات عند العقدة الجذرية، وهو يعكس ما أوصى به البحث بعد مداولة متأنّية.
• نتيجة المباراة $z \in \{-1, 0, +1\}$ — مَن فاز فعلاً (خسارة أو تعادل أو فوز من وجهة نظر اللاعب الحالي)، وهي بمثابة المكافأة في هذا النظام.

بعدها ندرّب الشبكة لتتنبّأ بكلتيهما: رأس السياسة يتعلّم مطابقة $\boldsymbol{\pi}$ ورأس القيمة يتعلّم مطابقة $z$. الشبكة المحسَّنة ترشد البحث بشكل أفضل، والبحث الأفضل يولّد مباريات أعلى جودةً، والدورة تتكرّر. تستخدم ألفازيرو 800 محاكاة لكل نقلة أثناء التدريب وتولّد ملايين المباريات في كل جولة.

ارتفع تصنيف إيلو لألفازيرو بسرعة ملحوظة أثناء التدريب. في الشطرنج تجاوزت Stockfish بعد 4 ساعات فقط (300,000 خطوة تدريب). وفي الشوغي تجاوزت Elmo بعد ساعتين (110,000 خطوة). وفي الغو تجاوزت نسخة AlphaGo التي هزمت لي سيدول بعد 30 ساعة.

في المواجهات المباشرة تحت ظروف البطولات الرسمية (3 ساعات لكل مباراة، مع 15 ثانية إضافية لكل نقلة):

• الشطرنج ضد Stockfish: فازت ألفازيرو بـ155 مباراة وتعادلت في 839 ولم تخسر سوى 6 من أصل 1,000 مباراة.
• الشوغي ضد Elmo: فازت بنسبة 91.2% من المباريات.
• الغو ضد AlphaGo Zero: فازت بنسبة 61% من المباريات.

ولعلّ الأكثر إثارة أن ألفازيرو فحصت نحو 80 ألف وضعية في الثانية في الشطرنج، بينما فحص Stockfish نحو 70 مليوناً. أي أنها فتّشت في أوضاع أقل بألف مرّة، لكنها وجّهت حوسبتها بذكاء نحو الأوضاع التي تؤثّر فعلاً على النتيجة.

سرّ قوة ألفازيرو يكمن في التآزر بين مكوّناتها. الشبكة العصبية وحدها لا تلعب بشكل مثالي لأن تقييماتها تقريبية. وبحث شجرة مونت كارلو وحده بطيء جداً دون مرشد يوجّهه. لكن حين يعملان معاً يُضخّم كلٌّ منهما الآخر:

الشبكة تمنح البحث نقطة انطلاق ذكية: سياسة ترشده إلى النقلات التي تستحق الاستكشاف، وتقييم سريع لجودة الأوضاع. البحث بدوره ينظر خطوات عدّة للأمام ويُصحّح أخطاء الشبكة عبر المحاكاة الفعلية، فيُنتج توصيات أدقّ مما تُنتجه الشبكة وحدها. هذه التوصيات المصحَّحة تتحوّل إلى بيانات تدريب تُحسّن النسخة التالية من الشبكة.

النتيجة حلقة تعزيز ذاتي: شبكة أفضل ← بحث أدقّ ← بيانات تدريب أجود ← شبكة أفضل... وهكذا. يمكن تشبيه الشبكة بـالتفكير الحدسي السريع (النظام 1) والبحث بـالتفكير التحليلي المتأنّي (النظام 2). عبقرية ألفازيرو أنها تستخدم كلاً منهما لتحسين الآخر باستمرار.

أهمية ألفازيرو تتجاوز عالم الألعاب بكثير. أثبتت أن خوارزمية عامّة واحدة تستطيع منافسة أنظمة متخصّصة بُنيت على مدى عقود — وتتفوّق عليها. هذا غيّر نظرة مجتمع الذكاء الاصطناعي بشكل جذري: العمومية ليست بالضرورة عدوّة الأداء، بل قد تكون الطريق إليه.

المكوّنات الأساسية نفسها — اللعب الذاتي وتقييم الشبكة العصبية وبحث الشجرة — امتدّت لاحقاً إلى عائلة من الخوارزميات تتصدّى لمسائل أصعب تدريجياً خارج نطاق الألعاب اللوحية.

إرث ألفازيرو ليس مجرّد الفوز بالمباريات — بل أنها فازت عن طريق التعلّم لا التلقين. المكوّنات الثلاثة نفسها — شبكة عصبية تُقيّم وتقترح، وبحث يتأمّل ويدقّق، وحلقة لعب ذاتي تولّد منهجها بنفسها — صارت أساساً لأنظمة ذكاء اصطناعي تتعامل مع مسائل أبعد بكثير من الألعاب.