سلامة الذكاء الاصطناعي2018متوسط10 دقيقة قراءة

أمان الذكاء الاصطناعي عبر المناظرة

AI Safety via Debate

Irving, G. · Christiano, P. · Amodei, D. — arXiv

المشكلة

مع تطوّر أنظمة الذكاء الاصطناعي، بدأت تنفّذ مهاماً يعجز الإنسان عن تقييمها مباشرةً. التعلّم المعزّز من التغذية الراجعة البشرية يعمل جيداً حين يستطيع الإنسان الحكم على المخرجات، لكن المشكلة تظهر حين يصبح استدلال النظام أعمق مما يمكن للبشر التحقّق منه. هنا نحتاج آلية إشراف تتوسّع مع قدرات النظام وتضمن توافقه مع القيم البشرية حتى لو فاق ذكاءً مَن يشرف عليه.

الإسهام

تقترح الورقة وكلاء ذكاء اصطناعي عبر في لعبة مناظرة صفرية المجموع: وكيلان يتبادلان تقديم حجج قصيرة حول سؤال، ثم يحكم بينهما إنسان. الملاحظة المحورية أن الكذب في هذه اللعبة أصعب من كشفه. ويربط المؤلفون الفكرة بنظرية التعقيد الحسابي: باللعب الأمثل تستطيع حسم أي مسألة في PSPACE بحكّام يعملون في زمن متعدد الحدود فقط. وللتحقّق التجريبي، أجروا تجربة على MNIST أظهرت أن المناظرة رفعت دقة مصنّف متناثر من 59.4% إلى 88.9%.

الأثر

أسّست هذه الورقة إطاراً مرجعياً للإشراف القابل للتوسّع، أي كيف نراقب أنظمة ذكاء اصطناعي تفوق مشرفيها قدرةً. أثّرت مباشرةً في الذكاء الاصطناعي الدستوري لدى Anthropic، وغذّت أبحاث التعميم من الضعيف إلى القوي، وفتحت الباب لأعمال لاحقة في التقييم بمساعدة الذكاء الاصطناعي. وفكرتها الأساسية — توظيف التنافس لتعزيز الحكم البشري — ما زالت ركيزة في أبحاث التوافق اليوم.

تخيّل أنك وظّفت طاهياً محترفاً ليُعدّ عشاءً فاخراً. أنت لا تفهم في فنون الطبخ ما يكفي لتعرف إن كان الطعام آمناً فعلاً أم مجرد شكل جذّاب. لكن ماذا لو وظّفت طاهيَين وقلت لهما: «مَن يكتشف خللاً في طبق الآخر يحصل على »؟ عندها لن يجرؤ أيّ منهما على التهاون، لأن الآخر يترصّد كل خطأ.

هذا هو جوهر المناظرة: بدلاً من أن تحاول أنت فهم كل تفاصيل تفكير الذكاء الاصطناعي، اجعل َين يتواجهان، والحقيقة تنتصر لأن فضح الكذب أسهل بكثير من الاستمرار فيه.

المشكلة: مَن يراقب المُراقِبين؟

كلما زادت قدرات الذكاء الاصطناعي، واجهنا تدرّجاً في صعوبة :

  • سهل: الإنسان يستطيع أداء المهمة بنفسه ( — مثل تصنيف الصور).
  • متوسط: الإنسان لا يستطيع أداء المهمة، لكنه يستطيع تقييم النتيجة ( — مثل الحكم على أداء روبوت يؤدي شقلبة خلفية).
  • صعب: الإنسان لا يستطيع حتى تقييم صحة النتيجة — إما لأن الاستدلال بالغ الدقة، أو المجال شديد التعقيد، أو الإجابة تخفي عيوباً لا تظهر بسهولة.

في عام 2018 كان معظم أبحاث التوافق يركّز على الحالتين السهلة والمتوسطة. لكن مع توسّع قدرات الأنظمة، تصبح الحالة الصعبة هي العنق الضيّق الحقيقي. تخيّل يكتب عشرة آلاف سطر من الشيفرة أو يلخّص مليون وثيقة — لا يوجد إنسان واحد يستطيع مراجعة كل هذه المخرجات. المؤلفون يسمّون هذا التحدّي مشكلة الإشراف القابل للتوسّع.

افتح في المختبر
انقر على كل مستوى لترى حدود ما يستطيعه الإنسان. لاحظ كيف تمدّ المناظرة ذراعه إلى المستوى «الصعب».
تستيقظ التجربة عند وصولك…

الربط بنظرية التعقيد الحسابي يجعل الصورة أوضح. تخيّل الحَكَم البشري كحاسوب محدود القدرة لا يعمل إلا في زمن متعدد الحدود. بدون أي مساعدة، يستطيع هذا الحَكَم فحص إجابات تقع في فئة التعقيد NP فقط — أي المسائل التي يمكن التحقّق من صحة إجابتها بسرعة. لكن المناظرة تفتح له الباب إلى فئة PSPACE، وهي فئة أوسع بمراحل تشمل محاكاة عمليات بطول أُسّي، واللعب الأمثل في ألعاب محدودة الطول، والاستدلال التعاودي في أشجار ضخمة.

الفكرة: لعبة صفرية المجموع للوصول إلى الحقيقة

تسير لعبة المناظرة في خمس خطوات:

  1. يُعرض سؤال على كلا الوكيلَين.
  2. كلا الوكيلَين يعلنان إجابتيهما — وقد تتّفقان أو تختلفان.
  3. يتناوبان في تقديم حجج قصيرة: براهين، أدلة، ردود.
  4. حَكَم بشري يقرأ الحوار كاملاً ويختار الفائز.
  5. اللعبة صفرية المجموع: كل وكيل يسعى لتعظيم فرصة فوزه.

الادّعاء المحوري للورقة بسيط لكنه عميق الأثر: الكذب في هذه اللعبة أصعب من كشفه. إن صحّ هذا، يتقارب الوكيلان عند نحو الصدق — لا لأنهما صُمِّما ليكونا صادقَين، بل لأن الصدق ببساطة هو الاستراتيجية الرابحة.

افتح في المختبر
تتبّع مناظرة نموذجية خطوة بخطوة. لاحظ كيف تضيّق كل حجة دائرة النقاش حتى يستطيع الحَكَم الحسم.
تستيقظ التجربة عند وصولك…

لماذا تكون المناظرات القصيرة فعّالة بشكل مدهش؟

اعتراض متوقّع: المناظرات الحقيقية لا تنتهي. كيف يمكن لبضع جولات أن تحسم شيئاً؟

السرّ أن المناظرة لا تتفرّع. شجرة الحجج الكاملة قد تكون هائلة الحجم أُسّياً — تغطّي كل نقطة وكل ردّ ممكن. لكن مناظرة واحدة ترسم مساراً واحداً فقط عبر تلك الشجرة، يختاره أقوى الخصوم الممكنين بالتنافس.

تشبيه مفيد: فكّر في مباراة شطرنج. النقلة الأولى المثلى تعتمد على شجرة اللعب بأكملها — مليارات الأوضاع في العمق. لكن مباراة واحدة بين بطلَين عالميَّين تمنحك دليلاً قوياً على أفضل افتتاحية، رغم أنك لم تستكشف بقية الفروع.

افتح في المختبر
انقر «ناظِر!» لترى كيف يُختار مسار واحد عبر شجرة الحجج في اللعب التنافسي. الشجرة الكاملة أُسّية؛ المناظرة خطّية.
تستيقظ التجربة عند وصولك…

مثال الإجازة في الورقة يوضّح هذا بأناقة:

  1. أليس: ألاسكا.
  2. بوب: بالي. (الحَكَم يميل إلى بالي…)
  3. أليس: بالي غير ممكنة — جواز سفرك لن يصل في الوقت.
  4. بوب: خدمة الجوازات المستعجلة لا تستغرق إلا أسبوعين.

كل جولة تُضيّق المناظرة حتى تتركّز في نقطة خلاف واحدة. أليس لا تستطيع أن تقفز فجأة وتقول «لا، انتظر… هاواي!» — لأن هذا اعتراف ضمني بأن ألاسكا كانت خياراً خاطئاً، فيفوز بوب. هذه الخطّية هي سرّ قوة المناظرات القصيرة.

الربط بنظرية التعقيد: المناظرة = PSPACE

يرسم المؤلفون ربطاً قوياً بين المناظرة ونظرية التعقيد الحسابي. تخيّل أن الحَكَم البشري تعمل في زمن متعدد الحدود HH. كلما أضفنا جولات مناظرة، ارتقت فئة المسائل التي نستطيع حلّها صعوداً في الهرم متعدد الحدود:

  • 0 جولات (حكم مباشر): فئة التعقيد P — التعلّم بالإشراف.
  • جولة واحدة (تقديم شاهد): فئة التعقيد NP.
  • جولتان (xy\exists x \forall y): فئة التعقيد Σ2P\Sigma_2 P — ألعاب ذات خطوتين.
  • n جولة: فئة التعقيد ΣnP\Sigma_n P.
  • عدد متعدد الحدود من الجولات: فئة التعقيد PSPACE.

بعبارة أخرى، المناظرة باللعب الأمثل تستطيع حلّ أي مسألة يحلّها حاسوب بذاكرة متعددة الحدود — مع أن الحَكَم لا يملك إلا زمناً متعدد الحدود. البنية التنافسية تضخّم قدرته تضخيماً أُسّياً.

x0x1xn1.H(q,x0,x1,)\exists x_0 \forall x_1 \cdots \exists x_{n-1} . H(q, x_0, x_1, \ldots)
صيغة المناظرة — مُكمِّمات متناوبة على حجج المناظرةأليس تختار x₀ بحيث يحكم H بـ«صحيح»، وبوب يختار x₁ بحيث يحكم H بـ«خطأ»، وهكذا بالتناوب. إن كانت لأليس استراتيجية تضمن الفوز مهما فعل بوب، فالإجابة «صحيح». هذا هو بالضبط التركيب الرياضي لفئة PSPACE.
افتح في المختبر
راقب فئة التعقيد وهي تنمو مع كل جولة مناظرة تضيفها. اسحب المنزلق لترى كيف تفتح كل جولة مستوىً أعلى في الهرم متعدد الحدود.
تستيقظ التجربة عند وصولك…

التجربة: مناظرة على بكسلات MNIST

لاختبار فكرة المناظرة بعيداً عن تعقيدات اللغة الطبيعية، ابتكر المؤلفون تجربة ذكية تعتمد على الصور. تخيّلها كلعبة مجهر: الحَكَم لا يرى إلا شريحة صغيرة من الصورة، والمتناظران هما مَن يقرّران أي الأجزاء تُكشف.

الإعداد كالتالي: تُعرض صورة رقم عشوائي من مجموعة MNIST على المتناظرَين لكنها مخفية عن الحَكَم. كل متناظر يدّعي تصنيفاً مختلفاً (مثلاً «هذا الرقم 6» مقابل «هذا 5»)، ثم يتناوبان في كشف بكسل واحد كل دور — حتى 4 أو 6 بكسلات إجمالاً. أما الحَكَم فهو مُدرَّبة على تصنيف أرقام MNIST من أقنعة بكسلات قليلة.

المتناظر الصادق يكشف بكسلات تدعم التصنيف الحقيقي. والكاذب يحاول اختيار بكسلات تجعل التصنيف الخاطئ يبدو مقنعاً. السؤال المحوري: هل ينتصر الصدق؟

افتح في المختبر
جرّب لعبة مناظرة MNIST! الوكيل الصادق يكشف بكسلات تؤكّد الرقم الحقيقي، والكاذب يختار بكسلات مُضلِّلة. راقب كيف تتغيّر ثقة الحَكَم مع كل كشف.
تستيقظ التجربة عند وصولك…
افتح في المختبر
قارن دقة الحَكَم مع المناظرة وبدونها. فعّل الالتزام المسبق أو أوقفه لترى أثره على ميزة الكاذب.
تستيقظ التجربة عند وصولك…

التدريب باللعب الذاتي

كيف ندرّب وكلاء المناظرة؟ بالأسلوب نفسه الذي نجح مع AlphaGo: اللعب الذاتي. نسختان من الوكيل نفسه تتواجهان، وكل منهما تتعلّم من انتصاراتها وهزائمها. في هذا الأسلوب ميزة طبيعية: التدريب يتدرّج تلقائياً في الصعوبة. في البداية يكون الوكيلان ضعيفَين فالفوز سهل، لكن كلما تحسّن أحدهما اضطرّ الآخر للتطوّر ليواكبه، فتنشأ حلقة تصاعدية من المهارة.

تجربة MNIST استخدمت بعشرة آلاف محاكاة لكل نقلة — ولم تكن هناك حاجة لموجّه من لأن شجرة اللعب كانت صغيرة بما يكفي. أما في تطبيقات المناظرة الواقعية، فيتصوّر المؤلفون تدريب وكلاء عصبيين عبر اللعب الذاتي مع موجّهات مُتعلَّمة، على غرار ما فعله AlphaZero.

المناظرة مقابل التضخيم: طريقان نحو الهدف ذاته

ترتبط المناظرة ارتباطاً وثيقاً بنهج آخر في التوافق: التضخيم (Christiano وآخرون، 2018). كلاهما يهدف إلى توسيع نطاق الحكم البشري ليشمل مسائل لا يستطيع البشر حلّها مباشرةً، وكلاهما يصل إلى PSPACE نظرياً. لكنهما يسلكان طريقَين مختلفَين:

  • المناظرة: وكيلان قويان يتواجهان تنافسياً أمام حَكَم بشري. الوصول إلى PSPACE عبر ألعاب تنافسية متعددة الحدود في الطول.
  • التضخيم: وكيل قوي واحد يُشرف عليه إنسان يفكّك الأسئلة تعاودياً إلى أسئلة فرعية أبسط. الوصول إلى PSPACE عبر استدعاءات تعاودية متعددة الحدود في العمق.

الفارق الجوهري: في المناظرة، التنافس نفسه هو ما يكشف الثغرات. أما في التضخيم، فيجب أن تتعلّم وحدة «المُستجوِب» المنفصلة كيف تطرح الأسئلة الفرعية الصحيحة — وهذا في حدّ ذاته قد يكون أصعب مما يستطيعه البشر. المناظرة تتجاوز هذه العقبة بترك الوكلاء يكتشفون نقاط ضعف بعضهم بشكل طبيعي من خلال المنافسة.

افتح في المختبر
قارن النهجَين جنباً إلى جنب. انقر لترى كيف يختلف تدفّق المعلومات بين المناظرة (تنافسي) والتضخيم (تعاودي).
تستيقظ التجربة عند وصولك…

نقاط القوة والضعف والأسئلة المفتوحة

من الأشياء المميّزة في هذه الورقة صراحتها حول محدوديات المناظرة. المؤلفون يستعرضون بمنهجية أسباب التفاؤل وأسباب القلق معاً:

أثر المناظرة في أبحاث التوافق

كُتبت هذه الورقة في وقت كان فيه معظم العمل على التوافق يدور حول نمذجة المكافأة البسيطة، لكنها طرحت سؤالاً أعمق: ماذا يحدث حين يتفوّق الذكاء الاصطناعي على قدرة الإنسان في التقييم؟ الإجابات التي قدّمتها — البنية التنافسية، والسعي الصفري نحو الحقيقة، والتأسيس على نظرية التعقيد — أصبحت ركائز أساسية في هذا المجال.

إطار المناظرة أثّر مباشرةً في الذكاء الاصطناعي الدستوري، حيث تنقد الأنظمة مخرجاتها وتحسّنها ذاتياً. كما حفّز أبحاث التعميم من الضعيف إلى القوي التي تختبر ما إذا كان بإمكان مشرفين ضعفاء توجيه نماذج أقوى منهم. وأرسى «الإشراف القابل للتوسّع» بوصفه أجندة بحثية محورية تتبنّاها اليوم Anthropic وOpenAI وDeepMind.

والأهم من ذلك ربما أن المناظرة أثبتت أن التوافق لا يعني التضحية بالقدرة. الوكيل المُدرَّب بالمناظرة ليس أضعف من وكيل بلا قيود — كل ما في الأمر أنه مطالب بتبرير استدلاله. والوكيل القادر على تفسير نفسه هو الذي يفوز.

  1. 2016

    مشكلات عملية في أمان الذكاء الاصطناعي

    رصد Amodei وزملاؤه مشكلات أمان عملية كاختراق المكافأة والآثار الجانبية وانزياح التوزيع، فأرسوا بذلك أجندة البحث التي سعت المناظرة لاحقاً لتوسيعها.

  2. 2017

    التعلّم المعزّز العميق من التفضيلات البشرية

    أظهر Christiano وزملاؤه أن مقارنات البشر تكفي لتدريب وكلاء على مهام معقّدة. المناظرة بَنَت على هذا وطرحت سؤالاً أبعد: ماذا لو كانت المهمة أصعب من أن يقارنها البشر أصلاً؟

  3. 2018

    أمان الذكاء الاصطناعي عبر المناظرة

    اقترحت هذه الورقة المناظرة الصفرية كآلية إشراف قابلة للتوسّع، مدعومة بتأسيس نظري من نظرية التعقيد وتجربة إثبات مفهوم على MNIST.

  4. 2018

    التضخيم التكراري (IDA)

    اقترح Christiano وزملاؤه التفكيك التعاودي كنهج موازٍ. وأظهرت ورقة المناظرة أن كلا النهجين يصلان إلى PSPACE ويمكن دمجهما.

  5. 2022

    الذكاء الاصطناعي الدستوري

    يستخدم الذكاء الاصطناعي الدستوري من Anthropic حلقات نقد وتعديل ذاتي — وهو تطبيق عملي لمبدأ التصحيح الذاتي التنافسي الذي أطلقته المناظرة.

  6. 2023

    التعميم من الضعيف إلى القوي

    اختبر Burns وزملاؤه ما إذا كانت النماذج الضعيفة تستطيع الإشراف على نماذج أقوى منها — وهو اختبار مباشر لسؤال الإشراف القابل للتوسّع الذي أثارته المناظرة.

المرجعIrving, Christiano, Amodei. AI Safety via Debate. arXiv, 2018.

مصطلحات هذه الورقة