السَّمْت

التعلم المعزز2016متقدم11 دقيقة قراءة

إتقان لعبة غو باستخدام الشبكات العصبية العميقة والبحث الشجري

Mastering the Game of Go with Deep Neural Networks and Tree Search

Silver, D. · Huang, A. · Maddison, C. J. · Guez, A. · Sifre, L. · van den Driessche, G. · Schrittwieser, J. · Antonoglou, I. · Panneershelvam, V. · Lanctot, M. · Dieleman, S. · Grewe, D. · Nham, J. · Kalchbrenner, N. · Sutskever, I. · Lillicrap, T. · Leach, M. · Kavukcuoglu, K. · Graepel, T. · Hassabis, D. — Nature

المشكلة

في لعبة غو نحو 10 أُس 170 وضعية ممكنة على اللوح — عدد يفوق ذرّات الكون المرصود — وهذا يجعل تجربة كل الاحتمالات أمراً مستحيلاً. أنظمة الذكاء الاصطناعي التقليدية للألعاب (مثل Deep Blue في الشطرنج) اعتمدت على دوال تقييم مُصمَّمة يدوياً وبحث شامل، لكن طبيعة غو الموضعية الدقيقة استعصت على هذا الأسلوب. برامج بحث شجرة مونت كارلو السابقة لم تتجاوز مستوى الهواة. لذلك اعتُبرت غو «التحدي الأكبر» في الذكاء الاصطناعي، وتوقّع الخبراء أن التغلّب عليها يحتاج عقداً آخر على الأقل.

الإسهام

يجمع AlphaGo بين الشبكات العصبية الالتفافية العميقة وبحث شجرة مونت كارلو من خلال مسار تدريبي بأربع مراحل: (1) شبكة سياسة تتعلّم بإشراف من 30 مليون نقلة لخبراء بشريين للتنبؤ بحركاتهم، (2) سياسة محاكاة سريعة وخفيفة لتشغيل آلاف المباريات بسرعة، (3) شبكة سياسة تُحسَّن بالتعلّم المعزّز عبر ، و(4) شبكة قيمة تُقيّم وضعيات اللوح. أثناء اللعب الفعلي يستخدم بحث شجرة مونت كارلو لتوجيه الاستكشاف، (ممزوجة بالمحاكاة السريعة) لتقييم الوضعيات — فيستبدل التقييم اليدوي بحَدْس مُكتسَب.

الأثر

هزم AlphaGo بطل أوروبا في غو فان هوي 5–0 في أكتوبر 2015، ثم بطل العالم لي سيدول 4–1 في مارس 2016 — وهو إنجاز كان الخبراء يتوقّعون أنه يبعد عقداً على الأقل. أثبت النظام أن التعلّم المعزّز العميق قادر على إتقان مجالات كان يُعتقد أنها حكر على الحَدْس البشري، وأطلق سلسلة من الأنظمة اللاحقة (AlphaGo Zero وAlphaZero وMuZero) استغنت عن البيانات البشرية تماماً، وألهم تطبيقات تمتد من طيّ البروتينات إلى تصميم الرقائق واكتشاف المبرهنات الرياضية.

تخيّل لاعب شطرنج محترفاً يرى عشر نقلات للأمام. والآن تخيّل لوح غو عدد مبارياته المحتملة يفوق ذرّات الكون بأكمله. لا لاعب بشري — ولا حاسوب — يستطيع استشراف حتى جزء ضئيل من تلك.

فكرة AlphaGo: درِّب كشّافاً (شبكة السياسة) شاهد ملايين مباريات الخبراء ويعرف أيّ النقلات تبدو واعدة، وحَكَماً (شبكة القيمة) يُلقي نظرة سريعة على اللوح ويُقدِّر أيّ الطرفين يتقدّم. ثم أرسِل الاثنين في رحلة استكشاف منظّمة () يركّزان فيها على المسارات الواعدة فحسب ويقيّمان الوضعيات أثناء التقدّم — فيستبدلان البحث الشامل ببحث ذكي.

الجدار: فضاء بحث غو يتحدّى القوة العمياء

في الشطرنج نحو 10 أُس 47 وضعية قانونية، أما في غو فالعدد يقفز إلى نحو 10 أُس 170. في الشطرنج يبلغ وسطياً نحو 35 نقلة في الدور الواحد، بينما يصل في غو إلى نحو 250. نظام Deep Blue هزم بطل العالم في الشطرنج عام 1997 بتقييم 200 مليون وضعية في الثانية معتمداً على دوال تقييم مُصمَّمة يدوياً. لكن هذا الأسلوب مستحيل رياضياً في غو — حتى لو قيّمت تريليون وضعية في الثانية طوال عمر الكون فلن تخدش سطح فضاء البحث.

قبل AlphaGo، كانت أفضل برامج غو تستخدم بحث شجرة مونت كارلو مع سمات نمطية بسيطة، ولم تتجاوز مستوى الهواة (نحو 2 دان هاوٍ). الفجوة بين الهاوي والمحترف كانت ضخمة — تشبه الفجوة بين لاعب شطرنج في نادٍ محلي وبطل العالم. لسدّ هذه الفجوة كان لا بد من استبدال السمات اليدوية بتمثيلات تلتقط الحَدْس الموضعي العميق الذي يبنيه الخبراء البشريون على مدى عقود.

افتح في المختبر
قارن فضاء البحث بين الشطرنج وغو — لاحظ الفجوة الأُسّية.
تستيقظ التجربة عند وصولك…

مسار التدريب: أربع مراحل من التقليد إلى الإتقان

يمرّ تدريب AlphaGo بأربع مراحل متدرّجة — تخيّله كبرنامج تدريب مهني: أولاً راقب المعلّم، ثم تمرّن بمفردك، ثم طوِّر حُكمك على الوضعيات.

المرحلة الأولى — شبكة السياسة بالتعلّم الموجّه: عميقة من 13 تُدرَّب على 30 مليون وضعية لوح من مباريات خبراء بشريين (خادم KGS لغو). تستقبل الشبكة لوح 19×19 كمدخل (مع 48 مستوى تُرمِّز مواقع الأحجار والحريّات وتاريخ الأسر وغيرها) وتُخرج على التقاطعات الـ 361 كلّها — أي تتنبأ بالنقلة التي سيلعبها خبير بشري. حققت هذه الشبكة دقة 57% في التنبؤ بنقلات الخبراء، وهي قفزة واضحة مقارنة بأفضل مستوى سابق كان 44%.

المرحلة الثانية — سياسة : سياسة أبسط وأخفّ وزناً مُدرَّبة على البيانات نفسها لكن بسمات نمطية محلية فقط. تُضحّي بالدقة (24.2%) مقابل السرعة — تختار نقلة في 2 ميكروثانية بدلاً من 3 ميللي ثانية. تُستخدم لاحقاً داخل بحث شجرة مونت كارلو لمحاكاة آلاف المباريات بسرعة.

المرحلة الثالثة — شبكة السياسة بـ: تُنسخ شبكة التعلّم الموجّه وتُحسَّن عبر اللعب الذاتي. تلعب الشبكة مباريات ضد نسخ سابقة مُنتقاة عشوائياً من نفسها، وتُحدِّث بأساليب (خوارزمية ) لتعظيم احتمال الفوز. بعد تفوز شبكة التعلّم المعزّز في 80% من المباريات ضد شبكة التعلّم الموجّه — لأنها تعلّمت نقلات تكسب المباريات، لا نقلات تبدو بشرية فحسب.

المرحلة الرابعة — شبكة القيمة: شبكة بالبنية نفسها لكن مخرجها قيمة عددية واحدة — احتمال الفوز من وضعية معيّنة. تُدرَّب على 30 مليون وضعية مولَّدة من اللعب الذاتي بالتعلّم المعزّز (بمباريات مختلفة لكل وضعية لتجنّب )، فتتعلّم تقييم وضعيات اللوح دون الحاجة للّعب حتى النهاية.

افتح في المختبر
تنقّل بين مراحل التدريب الأربع — وشاهد AlphaGo يتطوّر من تقليد الخبراء إلى تجاوزهم.
تستيقظ التجربة عند وصولك…

شبكتان عصبيتان، سؤالان مختلفان

براعة AlphaGo تكمن في تفكيك مشكلة اللعب إلى سؤالين متكاملين تُجيب عن كلٍّ منهما شبكة مستقلة:

شبكة السياسة تجيب عن: «أيّ نقلة تستحق التفكير؟» — فعند أي وضعية تُخرج توزيعاً احتمالياً على النقلات القانونية كلها. النقلات ذات الاحتمال العالي تُستكشف أولاً في شجرة البحث، فينخفض عامل التفرّع الفعلي من نحو 250 إلى حفنة مرشحات واعدة. الأمر يشبه حَدْس لاعب شطرنج محترف — إحساس فوري بأيّ النقلات «تبدو صحيحة» من دون حساب عميق.

شبكة القيمة تجيب عن: «من يتقدّم في هذه الوضعية؟» — فعند أي وضعية تُخرج رقماً واحداً بين 0 و1 يمثّل احتمال الفوز المُقدَّر. هذا يُغني عن إكمال المباراة حتى نهايتها لمعرفة النتيجة. واحدة عبر شبكة القيمة تعادل في فائدتها آلاف المحاكاة العشوائية، فتُكثِّف الحكم في حَدْس مُكتسَب.

الشبكتان تتشاركان البنية الالتفافية العميقة نفسها (13 طبقة)، لكنهما تختلفان في المخرج النهائي: توزيع (السياسة) مقابل قيمة واحدة (القيمة).

افتح في المختبر
قارن الشبكتين جنباً إلى جنب — السياسة تُضيّق نطاق البحث، والقيمة تُقيّم عمق الوضعية.
تستيقظ التجربة عند وصولك…

الصياغة الرياضية: تدرج السياسة وانحدار القيمة

تتعلّم شبكة السياسة في مرحلة عبر تعظيم الأرجحية اللوغاريتمية لنقلات الخبراء — وهي في جوهرها دالة نفسها المستخدمة في مسائل . عند وضعية لوح ss ونقلة الخبير aa، يدفع تحديث الشبكةَ نحو منح احتمال أعلى للنقلة الصحيحة:

Δσ∝∂log⁡pσ(a∣s)∂σ\Delta\sigma \propto \frac{\partial \log p_\sigma(a \mid s)}{\partial \sigma}
تدرّج سياسة التعلّم الموجّه — حدِّث الأوزان σ في الاتجاه الذي يرفع احتمال نقلة الخبير a عند الوضعية s. هذا ببساطة تصنيف موجَّه تقليدي مُطبَّق على التنبؤ بالنقلات.

بعد ذلك تُدرَّب شبكة السياسة بـالتعلّم المعزّز باستخدام خوارزمية REINFORCE: العب مباراة كاملة، لاحِظ النتيجة zz (حيث +1 للفوز و−1 للخسارة)، ثم حدِّث كل نقلات المباراة بحيث تصبح النقلات المؤدّية للفوز أكثر ترجيحاً:

Δρ∝∂log⁡pρ(at∣st)∂ρ⋅zt\Delta\rho \propto \frac{\partial \log p_\rho(a_t \mid s_t)}{\partial \rho} \cdot z_t
تدرّج سياسة REINFORCE — هذه القاعدة تُعدِّل السياسة بناءً على نتيجة المباراة الكاملة. النقلات التي أسهمت في الفوز يرتفع احتمال اختيارها مستقبلاً، والنقلات المرتبطة بالخسارة ينخفض احتمالها. مع تكرار اللعب الذاتي والتعلّم من النتائج، تكتشف السياسة تدريجياً استراتيجيات تُعظِّم فرص الفوز على المدى البعيد بدلاً من مجرد تقليد ما يفعله اللاعبون البشريون.

وأخيراً تُدرَّب شبكة القيمة بـالانحدار — أي بتقليل بين ما تتنبأ به والنتيجة الفعلية للمباراة:

L(θ)=1N∑i=1N(zi−vθ(si))2L(\theta) = \frac{1}{N}\sum_{i=1}^{N}(z_i - v_\theta(s_i))^2
دالة خسارة شبكة القيمة — الهدف هنا أن تتعلّم شبكة القيمة التنبؤ بنتيجة المباراة انطلاقاً من أي وضعية. أثناء التدريب تُقارَن تنبؤاتها بالنتائج الفعلية بعد انتهاء المباريات، وتُحدَّث لتقليل الفارق. بعد اكتمال التدريب تستطيع الشبكة تقدير جودة أي وضعية بتمريرة أمامية واحدة، ما يُوفّر بديلاً سريعاً عن تشغيل آلاف المحاكاة. التقييم المعتمدة على المحاكاة.

خوارزمية بحث شجرة مونت كارلو: محرّك القرار

أثناء اللعب الفعلي يستخدم AlphaGo بحث شجرة مونت كارلو — وهي دورة من أربع خطوات تتكرّر آلاف المرات قبل كل نقلة:

الاختيار: ابدأ من الجذر (وضعية اللوح الحالية) واعبر الشجرة باختيار الفعل الذي يُعظِّم Q(s,a)+u(s,a)Q(s,a) + u(s,a) عند كل عُقدة، حيث QQ هو التقييم المُقدَّر الحالي وuu مكافأة تشجّع على تجربة نقلات تراها شبكة السياسة واعدة لكنها لم تُزَر كثيراً بعد. هذا يوازن بين (تجربة مسارات جديدة) و (اتباع مسارات ثبتت جودتها).

التوسيع: حين يصل المسار إلى عُقدة ورقية (وضعية لم تُضَف إلى الشجرة بعد)، أضِف الوضعية الجديدة واستخدم شبكة السياسة لتهيئة الاحتمالات المسبقة لأبنائها.

التقييم: قيِّم الوضعية الورقية بمزيج موزون من: (أ) تنبؤ شبكة القيمة، و(ب) نتيجة محاكاة سريعة تُكمل المباراة حتى نهايتها باستخدام السياسة الخفيفة. معامل المزج λ يتحكّم في التوازن بين الحكم العميق والتجربة الفعلية التي تقدّمها المحاكاة.

التحديث الراجع: انشر قيمة التقييم صعوداً عبر الشجرة وحدِّث قيم QQ لكل عُقدة على المسار. بعد تكرارات كثيرة تصبح لدى العُقد الفرعية للجذر تقديرات موثوقة، فيختار AlphaGo الفرع الأكثر زيارةً كنقلته.

V(sL)=(1−λ) vθ(sL)+λ zLV(s_L) = (1 - \lambda)\, v_\theta(s_L) + \lambda\, z_L
تقييم العُقدة الورقية (صيغة المزج) — بدلاً من الاعتماد على مصدر واحد للمعلومات، يجمع AlphaGo بين تقديرين متكاملين عند تقييم عقدة ورقية في شجرة البحث. يأتي التقدير الأول من شبكة القيمة التي تقدم تقييماً متعلَّماً للوضعية، بينما يأتي التقدير الثاني من محاكاة تستكمل اللعب حتى نهاية المباراة. ويتحكم عامل مزج في مقدار مساهمة كل مصدر في التقييم النهائي، محققاً توازناً بين التقدير الاستراتيجي والتجربة العملية المباشرة.
افتح في المختبر
تابع المراحل الأربع لبحث شجرة مونت كارلو — وشاهد كيف توجّه شبكة السياسة الاستكشاف وكيف تقيّم شبكة القيمة الوضعيات.
تستيقظ التجربة عند وصولك…

اللعب الذاتي: التعلّم وراء حدود المعرفة البشرية

الفكرة المحورية التي نقلت AlphaGo من التقليد إلى الإبداع هي اللعب الذاتي. بعدما تعلّمت شبكة السياسة محاكاة نقلات الخبراء في مرحلة التعلّم الموجّه، نُسخت ووُضعت لتلعب ضد نفسها ملايين المرات. عبر التعلّم المعزّز بـتدرّج السياسة اكتشفت نقلات لم يلعبها أي خبير بشري — نقلات لا تبدو «طبيعية» لكنها تقود إلى الفوز.

اللعب الذاتي يحلّ مشكلتين جوهريتين دفعة واحدة. أولاً: يولّد كمّاً غير محدود من بيانات التدريب، فلا حاجة بعدها للاعتماد على مكتبة محدودة من مباريات البشر. ثانياً: يُنشئ منهاجاً تدريبياً متصاعد الصعوبة — فكلّما تحسّنت الشبكة تحسّن خصمها (نسخة سابقة منها) أيضاً، فينشأ سباق تسلّح طبيعي يدفع الأداء إلى ما هو أبعد ممّا تستطيع البيانات البشرية وحدها تعليمه.

بعد تدريب اللعب الذاتي، فازت شبكة التعلّم المعزّز في 80% من مبارياتها ضد شبكة التعلّم الموجّه. والأهم أنها اكتشفت استراتيجيات غير مسبوقة: نقلات وصفها المعلّقون المحترفون في البداية بأنها «أخطاء» ثم أدركوا لاحقاً أنها إبداعية وصحيحة في العمق. هذا مهّد الطريق للاكتشافات الأكثر إثارة في AlphaGo Zero الذي تعلّم بالكامل من اللعب الذاتي دون أيّ بيانات بشرية على الإطلاق.

افتح في المختبر
شاهد شبكة التعلّم المعزّز تتحسّن عبر أجيال اللعب الذاتي — كل جيل يواجه سلفه ويتعلّم من النتيجة.
تستيقظ التجربة عند وصولك…

النتائج: من هاوٍ إلى مستوى فوق بشري

حقق AlphaGo معدل فوز 99.8% ضد جميع برامج غو الأخرى، وأصبح أول برنامج يهزم لاعباً محترفاً بشرياً على لوح 19×19 الكامل. في أكتوبر 2015 هزم فان هوي (بطل أوروبا، 2 دان محترف) بنتيجة 5–0 في مباراة رسمية، وفي مارس 2016 هزم لي سيدول (9 دان محترف، من أعظم لاعبي غو في التاريخ) بنتيجة 4–1 في مباراة متلفزة عالمياً تابعها أكثر من 200 مليون مشاهد.

الإصدار الموزَّع من AlphaGo استخدم 1920 وحدة معالجة مركزية و280 . لكن حتى إصدار الجهاز الواحد (48 وحدة مركزية + 8 رسومية) كان كافياً لهزيمة فان هوي — ما يؤكّد أن الابتكار الخوارزمي، لا القوة الحاسوبية الخام، هو ما صنع الفارق.

كشفت عن الإسهام النسبي لكل عنصر: شبكة القيمة وحدها كانت أقوى من المحاكاة السريعة وحدها، والجمع بينهما كان أقوى من أيّهما منفرداً، واستخدام شبكة السياسة لتوجيه البحث كان أساسياً — بدونها كان البحث يضيع في استكشاف نقلات غير مجدية.

افتح في المختبر
قارن تصنيفات إيلو لإصدارات AlphaGo مع أقوى برامج غو والأبطال البشريين.
تستيقظ التجربة عند وصولك…

ما الذي فتحه AlphaGo

  1. 2016

    AlphaGo (هذه الورقة)

    جمع بين الشبكات العصبية الالتفافية العميقة وبحث شجرة مونت كارلو والتعلّم المعزّز باللعب الذاتي، وهزم لاعب غو محترفاً لأول مرة. بدأ من 30 مليون مباراة بشرية كنقطة انطلاق.

  2. 2017

    AlphaGo Zero — بلا أيّ بيانات بشرية

    تعلّم غو من الصفر باللعب الذاتي فقط بدءاً من أوزان عشوائية. تجاوز مستوى AlphaGo الأصلي خلال 40 ساعة فقط، مُثبتاً أن المعرفة البشرية نقطة انطلاق مفيدة لكنها ليست السقف.

  3. 2018

    AlphaZero — خوارزمية واحدة، ثلاث ألعاب

    عمّم نهج AlphaGo Zero ليشمل الشطرنج والشوغي بلا تعديل خاص بكل لعبة. هزم Stockfish في الشطرنج وElmo في الشوغي بعد ساعات من التدريب باللعب الذاتي.

  4. 2019

    MuZero — التعلّم دون معرفة القواعد

    وسّع الفكرة لتشمل بيئات لا تُعرف قواعدها مسبقاً. تعلّم نموذجاً للبيئة إلى جانب شبكتَي السياسة والقيمة، وأتقن غو والشطرنج والشوغي وألعاب أتاري.

  5. 2023

    شجرة الأفكار — بحث شجرة مونت كارلو يلتقي بالنماذج اللغوية

    نقل أفكار البحث الشجري إلى مجال الاستدلال في النماذج اللغوية الكبيرة — تفريع سلاسل التفكير وتقييمها كما لو كانت نقلات في لعبة. الفكرة الجوهرية لـ AlphaGo (البحث + التقييم المُتعلَّم) انتقلت إلى ما هو أبعد من الألعاب.

الإسهام الأبقى لـ AlphaGo ليس هزيمة بطل غو — بل إثبات أن الجمع بين حَدْس الشبكة العصبية وتخطيط البحث الشجري يُنتج أنظمة أقوى بكثير من أيّ نهج بمفرده. هذا المبدأ — تقييم مُتعلَّم + بحث ذكي — صار مخططاً أساسياً لأنظمة في الذكاء الاصطناعي، من اللعب الذاتي الصِّرف في AlphaGo Zero إلى أساليب و الحديثة في النماذج اللغوية الكبيرة.

المرجعSilver, Huang, Maddison, Guez, Sifre, van den Driessche, Schrittwieser, Antonoglou, Panneershelvam, Lanctot, Dieleman, Grewe, Nham, Kalchbrenner, Sutskever, Lillicrap, Leach, Kavukcuoglu, Graepel, Hassabis. Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 2016.

مصطلحات هذه الورقة