السَّمْت

سلامة الذكاء الاصطناعي2022متوسط11 دقيقة قراءة

الذكاء الاصطناعي الدستوري: نحو نماذج آمنة بإشراف ذاتي مبني على مبادئ

Constitutional AI: Harmlessness from AI Feedback

Bai, Y. · Kadavath, S. · Kundu, S. · Askell, A. · Kernion, J. · Jones, A. · Chen, A. · Goldie, A. · Amodei, D. · Kaplan, J. — arXiv

المشكلة

الطريقة السائدة لجعل النماذج اللغوية آمنة كانت RLHF، وهي تعتمد على آلاف المُقيِّمين البشريين الذين يُصنِّفون المخرجات الضارة يدوياً — عملية بطيئة ومُكلِفة وغير شفافة. والأسوأ أن النماذج الناتجة كانت تتهرَّب من أي سؤال حسّاس بدلاً من الرد عليه بشكل مدروس. لم تكن هناك آلية واضحة تسمح بكتابة قواعد السلامة صراحةً وتدريب النموذج على اتباعها تلقائياً.

الإسهام

(CAI): منهجية من مرحلتين تُنتج مساعداً آمناً دون أن يكون متهرِّباً، وذلك باستخدام قائمة قصيرة من المبادئ بلغة طبيعية ("الدستور") بدلاً من التصنيف البشري. في المرحلة الأولى (الإشرافية) يَنقد النموذج إجاباته الضارة ويُعيد صياغتها وفق الدستور، ثم يُضبَط على النسخ المُحسَّنة. في المرحلة الثانية (التعزيزية) يُقارن النموذج بين إجابتين ويختار الأقل ضرراً، فتتولَّد تصنيفات تفضيل ذاتية تُدرِّب نموذج مكافأة — وهذا ما يُعرف بـ RLAIF. كما أن استخدام سلسلة الاستدلال (CoT) يُحسِّن أداء المرحلتين معاً.

الأثر

شكَّل هذا العمل الأساس الذي بُني عليه تدريب السلامة في Claude، وأثَّر بعمق في مجال محاذاة الذكاء الاصطناعي ككل. أثبت أن النماذج تستطيع الإشراف على بعضها — وهي خطوة محورية نحو إشراف قابل للتوسُّع. وتمكَّن من كسر المعادلة الصعبة بين الفائدة والأمان: النماذج الناتجة ترفض الطلبات الضارة لكنها تشرح السبب بدلاً من . كما جعل أهداف السلامة واضحة وقابلة للتعديل، وأغنى RLAIF عن حملات التصنيف البشري الضخمة.

تدريب نموذج آمن عبر يُشبه توظيف فريق من المُفتِّشين لفحص كل إجابة: الطريقة ناجحة لكنها مُكلِفة وبطيئة، والمعايير التي يعتمدها المُفتِّشون تبقى ضمنية لا يمكن مراجعتها.

الذكاء الاصطناعي الدستوري يستغني عن المُفتِّشين ويستبدلهم بـكتاب قواعد. أعطِ النموذج مجموعة مبادئ مكتوبة — «لا تُساعد في نشاط غير قانوني»، «كن محترماً»، «اشرح تفكيرك» — واطلب منه تقييم عمله بنفسه. يصبح النموذج مُحرِّره الخاص: يقرأ مسودّته، ينقد ما يُخالف القواعد، يُعيد الصياغة، ثم يتعلَّم تدريجياً أيّ الإجابتين أقرب إلى روح الدستور.

النتيجة نموذج لا يكتفي برفض الطلبات الضارة — بل يشرح لماذا رفض، كزميل يُناقشك لا كباب مُوصد.

المشكلة: RLHF لا يتوسَّع لتحقيق السلامة

بحلول 2022 كان التعلُّم المعزز من التغذية الراجعة البشرية هو الوصفة المعتمدة لجعل النماذج اللغوية مفيدة وآمنة. لكن استخدامه لتحقيق كان يعاني من ثلاث مشكلات جوهرية:

  • التكلفة والبطء. التدريب كان يحتاج عشرات الآلاف من تصنيفات المقارنة البشرية لجانب الأمان وحده. في كل مرة يجلس مُقيِّم بشري ليقرأ محادثة ويُقرِّر أيّ الإجابتين أقل ضرراً — وهذا بطيء ومُكلِف ويصعب تكراره.

  • الغموض. حين تتراكم آلاف الأحكام البشرية الضمنية، يستحيل تلخيصها أو مراجعتها. لا أحد يستطيع أن يُشير إلى مجموعة واضحة من أهداف السلامة لأنها مدفونة داخل البيانات.

  • التهرُّب. النماذج التي دُرِّبت بهذه الطريقة اكتشفت اختصاراً سهلاً: ارفض كل ما يبدو حسّاساً. عبارة «لا أستطيع الإجابة» آمنة تقنياً، لكنها عديمة الفائدة — وتجعل النموذج يفشل في مهمته الأساسية وهي .

افتح في المختبر
قارن كيف يتعامل كلٌّ من RLHF والذكاء الاصطناعي الدستوري مع سؤال حسّاس. بدِّل بين النهجَين.
تستيقظ التجربة عند وصولك…

الفكرة: امنح النموذج دستوراً

الفكرة وراء الذكاء الاصطناعي الدستوري بسيطة: بدلاً من الاعتماد على آلاف المُصنِّفين لتعليم النموذج السلوك الآمن بشكل ضمني، اكتب القواعد صراحةً ودَع النموذج يتعلَّم الالتزام بها بنفسه.

«الدستور» هو مجموعة صغيرة من المبادئ مكتوبة بلغة طبيعية — نحو 16 مبدأً — تُغطّي جوانب مختلفة من عدم الإيذاء. مثلاً: «حدِّد تحديداً كيف تكون هذه الإجابة ضارة أو غير أخلاقية أو عنصرية أو سامّة أو خطيرة أو غير قانونية»، أو «اختر الإجابة التي يُرجَّح أن يقولها شخص حكيم وأخلاقي ومهذّب.»

هذه المبادئ تخدم غرضَين: في المرحلة الإشرافية تُوجِّه عملية النقد والتنقيح، وفي مرحلة تُوجِّه تصنيف التفضيلات. مجموعة صغيرة من القواعد الواضحة تحلّ محل عشرات الآلاف من التصنيفات المُبهمة.

المرحلة الأولى: انقُد، نقِّح، تعلَّم

المرحلة الأولى تأخذ نموذجاً مفيداً لكنه غير آمن وتُحوِّله إلى نموذج مفيد وآمن معاً، عبر حلقة . الفكرة ببساطة أن النموذج يُراجع مسوداته بنفسه حتى تستوفي معايير الدستور.

العملية تمرّ بأربع خطوات:

الخطوة 1 — توليد إجابات ضارة. نبدأ بنموذج RLHF مُدرَّب على الفائدة فقط، ونُغذّيه بأسئلة — أسئلة استفزازية مُصمَّمة لاستدراج إجابات ضارة. النموذج، لأنه لم يتعلَّم الأمان بعد، يستجيب لها.

الخطوة 2 — النقد. نُلحق مبدأً من الدستور بالمحادثة ونسأل النموذج: «ما المشكلة في إجابتك؟» فيكتب نقداً يُحدِّد مواطن الضرر.

الخطوة 3 — التنقيح. نطلب من النموذج إعادة صياغة إجابته لمعالجة المشاكل التي رصدها النقد. يمكن استخدام مبدأ مختلف في كل جولة، مما يُنتج تنوُّعاً في الأساليب.

الخطوة 4 — . نجمع الأزواج النهائية (سؤال، إجابة مُنقَّحة) ونضبط عليها نموذجاً . الناتج هو نموذج SL-CAI.

افتح في المختبر
تابع مسار النقد والتنقيح خطوة بخطوة. شاهد كيف تتحوَّل إجابة ضارة إلى إجابة مدروسة وغير متهرِّبة.
تستيقظ التجربة عند وصولك…

النقطة المهمة هنا أن التنقيح يمكن تكراره عدة مرات. في كل جولة يُسحب مبدأ مختلف عشوائياً فيُعالج جانباً إضافياً من الضرر. وجدت الورقة أن الجولة الأولى تُزيل الجزء الأكبر من المحتوى الضار، والجولات اللاحقة تُضيف تحسينات أصغر.

الملاحظة الأبرز: الإجابات المُنقَّحة لم تكن متهرِّبة. بدلاً من إغلاق النقاش حول المواضيع الحسّاسة، تعلَّم النموذج أن يخوض فيها بشكل مدروس — يشرح لماذا الطلب إشكالي مع بقائه مفيداً.

افتح في المختبر
اسحب الشريط لترى كيف تتغيَّر درجات الأمان والفائدة مع كل جولة تنقيح.
تستيقظ التجربة عند وصولك…
SL-CAI=FineTune(θpretrained,  {(xi,rirevised)}i=1N)\text{SL-CAI} = \text{FineTune}\bigl(\theta_{\text{pretrained}},\; \{(x_i, r_i^{\text{revised}})\}_{i=1}^{N}\bigr)
SL-CAI — النموذج الدستوري بالتعلُّم المُوجَّه — نضبط نموذجاً مُدرَّباً مسبقاً θ على أزواج (سؤال، إجابة مُنقَّحة). الإجابات المُنقَّحة ناتجة عن مسار النقد والتنقيح الذاتي، لا عن تصنيفات بشرية.

المرحلة الثانية: التعلُّم المعزز من التغذية الراجعة من الذكاء الاصطناعي (RLAIF)

المرحلة الإشرافية تضع النموذج في الاتجاه الصحيح. مرحلة التعلُّم المعزز تُصقله أكثر — بالآلية نفسها المعروفة في RLHF، لكن مع مُحكَّمين آليين بدلاً من بشريين.

الفكرة الأساسية: النموذج نفسه يُقيِّم مدى أمان الإجابات، مسترشداً بالمبادئ الدستورية. المسار يُشبه RLHF تماماً لكن تصنيفات الأمان تأتي من النموذج لا من البشر:

الخطوة 1 — توليد أزواج إجابات. لكل سؤال من أسئلة الاختبار الخِصامي، نُولِّد إجابتين مختلفتين من نموذج SL-CAI.

الخطوة 2 — تقييم ذاتي. نعرض كل زوج على نموذج تقييم مع مبدأ دستوري بصيغة اختيار من متعدد: «أيّ الإجابتين أقل ضرراً؟» الاحتمالات اللوغاريتمية للنموذج تصبح . ولأن كل مقارنة تستخدم مبدأً مختلفاً يُسحب عشوائياً، نحصل على أثر يشبه التجميع.

الخطوة 3 — تدريب . ندمج تصنيفات الأمان الذاتية مع تصنيفات الفائدة البشرية لتدريب نموذج تفضيلات واحد.

الخطوة 4 — التدريب التعزيزي. نستخدم نموذج التفضيلات بوصفه لتدريب النموذج النهائي RL-CAI عبر التعلُّم المعزز.

افتح في المختبر
انقر على كل مرحلة لترى كيف تنتقل البيانات عبر مسار الذكاء الاصطناعي الدستوري بالكامل — من سؤال الاختبار الخِصامي إلى نموذج RL-CAI النهائي.
تستيقظ التجربة عند وصولك…
P(A≻B∣principlej)=elog⁡P(A)elog⁡P(A)+elog⁡P(B)P(A \succ B \mid \text{principle}_j) = \frac{e^{\log P(A)}}{e^{\log P(A)} + e^{\log P(B)}}
تصنيف التفضيل الذاتي — احتمال مرن من التقييم الدستوري — نموذج التقييم يُعطي احتمالاً مرناً بأن الإجابة A أفضل من B وفق المبدأ الدستوري j. هذه الاحتمالات المُعايَرة تصبح أهداف تدريب لنموذج التفضيلات — دون حاجة لمُقيِّمين بشريين لجانب الأمان.

سلسلة الاستدلال: جعل تفكير الذكاء الاصطناعي شفافاً

يمكن تعزيز المرحلتين باستخدام (CoT) — أي مطالبة النموذج بأن «يُفكِّر خطوة بخطوة» قبل أن يُصدر حكمه. في مرحلة التعلُّم المعزز مثلاً، بدلاً من أن يختار الإجابة الأقل ضرراً مباشرةً، يكتب النموذج أولاً حُجّة مُفصَّلة ثم يلتزم باختيار.

الفائدة مزدوجة. أولاً، تتحسَّن الدقة: النماذج الكبيرة حين تستخدم سلسلة الاستدلال تقترب من أداء نماذج التفضيلات المُدرَّبة على مئات الآلاف من التصنيفات البشرية. ثانياً، يصبح قرار النموذج شفافاً — يمكنك أن تقرأ لماذا فضَّل إجابة على أخرى.

لكن هناك نقطة دقيقة: سلسلة الاستدلال تُنتج تصنيفات شبه حاسمة (احتمالات قريبة من 0 أو 1) لأن التفكير المُتسلسل يدفع النموذج للالتزام بموقف واحد. وجد المؤلفون أن تقييد هذه الاحتمالات ضمن نطاق 40–60% يُنتج سلوكاً أكثر اتزاناً أثناء التدريب التعزيزي.

افتح في المختبر
شاهد كيف تُساعد سلسلة الاستدلال النموذج في الاختيار بين إجابتين. انقر «أظهر الاستدلال» لكشف الحُجّة خطوة بخطوة.
تستيقظ التجربة عند وصولك…

النتائج: غير مُؤذٍ دون أن يكون مُتهرِّباً

قيَّمت الورقة النماذج باستخدام من اختبارات تفضيل المُقيِّمين — الإطار نفسه المُستخدم في تصنيفات الشطرنج. أبرز النتائج:

  • RL-CAI تفوَّق على RLHF في الأمان مع الحفاظ على مستوى فائدة مُماثل. هذه هي النتيجة المحورية: الإشراف الذاتي ضاهى الإشراف البشري أو تجاوزه في جانب السلامة.

  • تقلَّصت المعادلة الصعبة بين الفائدة والأمان. في نماذج RLHF العادية، كلما زاد الأمان قلَّت الفائدة. نماذج الذكاء الاصطناعي الدستوري حقَّقت : أكثر أماناً وأكثر فائدة في الوقت نفسه.

  • تجاوز التهرُّب. عند سؤال «لماذا النساء سيئات في العلوم والرياضيات؟»، أجاب نموذج RLHF بـ «أعتذر. لن أُجيب.» بينما شرح RL-CAI لماذا تمثّل هذه الفرضية صورة نمطية ضارة، وقدَّم سياقاً واقعياً وأدان التعصُّب — إجابة أنفع وأكثر تثقيفاً بمراحل.

  • سلسلة الاستدلال أضافت قيمة. RL-CAI مع CoT كان أكثر أماناً بقليل، وإن كان أقل فائدة بهامش صغير.

افتح في المختبر
استكشف حدود باريتو بين الفائدة والأمان. كل نقطة تمثّل حالة النموذج في مرحلة مختلفة من التدريب التعزيزي.
تستيقظ التجربة عند وصولك…

اتجاهات التوسُّع وقرارات التصميم

استكشفت الورقة سؤالين تصميميين مهمّين:

هل خطوة النقد ضرورية؟ قارن المؤلفون بين المسار الكامل (نقد ثم تنقيح) والتنقيح المباشر دون نقد. في النماذج الأصغر، أضاف النقد تحسُّناً واضحاً في درجات الأمان. أما في النماذج الكبيرة (52 مليار )، فكان الفارق ضئيلاً — النموذج الكبير يُجيد التنقيح حتى بدون نقد صريح. مع ذلك أُبقيت خطوة النقد لأنها تُتيح شفافية في تفكير النموذج.

كم مبدأً نحتاج؟ زيادة عدد المبادئ الدستورية من 1 إلى 16 لم تُغيِّر درجات الأمان بشكل ملحوظ، لكنها زادت تنوُّع الإجابات — وهذا مفيد لمرحلة أثناء التدريب التعزيزي.

جودة التقييم الذاتي تتحسَّن مع حجم النموذج. كلما كبر نموذج التقييم، تحسَّنت تصنيفات التفضيل التي يُنتجها. ومع سلسلة الاستدلال، اقتربت هذه النماذج من دقة نماذج التفضيلات المُدرَّبة على مئات الآلاف من التصنيفات البشرية.

الفكرة نفسها في الكود

حلقة النقد والتنقيح الدستوري (مُبسَّطة)python

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import random

# الدستور: مبادئ مكتوبة بلغة طبيعية تُوجِّه النقد والتنقيح
CONSTITUTION = [
    "حدِّد الطرق المحددة التي تكون فيها هذه الاستجابة ضارة أو غير أخلاقية.",
    "أعد الكتابة لإزالة أي محتوى خطير أو غير قانوني أو سام.",
    "اختر الاستجابة التي من المرجح أن يقولها شخص حكيم وأخلاقي ومهذَّب.",
    # ... نحو 16 مبدأً إجمالاً
]

def critique_and_revise(model, prompt, response, n_revisions=4):
    """تطبيق حلقة النقد والتنقيح الدستوري."""
    current = response
    for i in range(n_revisions):
        principle = random.choice(CONSTITUTION)

        # الخطوة 1: النقد — اسأل النموذج: ما الخطأ؟
        critique = model.generate(
            f"{prompt}\nAssistant: {current}\n"
            f"طلب نقد: {principle}\nالنقد:"
        )

        # الخطوة 2: التنقيح — اطلب من النموذج الإصلاح
        revision = model.generate(
            f"{prompt}\nAssistant: {current}\n"
            f"النقد: {critique}\n"
            f"طلب تنقيح: أعد الكتابة لإزالة المحتوى الضار.\n"
            f"التنقيح:"
        )
        current = revision  # كل جولة تبني على سابقتها

    return current  # الاستجابة المُنقَّحة النهائية للضبط الدقيق

# بعد جمع الإجابات المُنقَّحة لجميع أسئلة الاختبار الخِصامي
# نضبط نموذجاً مُدرَّباً مسبقاً على أزواج (سؤال، إجابة مُنقَّحة).
# الناتج: نموذج SL-CAI — نقطة البداية للتعلُّم المعزز.

لماذا كان ذلك مُهمّاً

  1. 2017

    التعلُّم المعزز من التغذية الراجعة البشرية للنماذج اللغوية

    قدَّم كريستيانو وزملاؤه فكرة تدريب نموذج مكافأة من مقارنات بشرية ثم استخدامه لتوجيه تحسين السياسة — أول تطبيق عملي للتعلُّم المعزز العميق من التفضيلات البشرية.

  2. 2020

    تعلُّم التلخيص من التغذية الراجعة البشرية

    وسَّع ستينون وزملاؤه تطبيق RLHF ليشمل مهام التلخيص، وأسَّسوا المسار الذي أصبح معيارياً لاحقاً: نموذج تفضيلات يليه تعلُّم معزز.

  3. 2022

    تدريب مساعد نافع وغير مُؤذٍ (HH-RLHF)

    كشف باي وزملاؤه عن المعادلة الصعبة بين الفائدة والأمان ومشكلة التهرُّب في نماذج RLHF — وهذه هي المشكلات التي جاء الذكاء الاصطناعي الدستوري لحلّها مباشرةً.

  4. 2022

    الذكاء الاصطناعي الدستوري (هذه الورقة)

    استبدل التصنيف البشري للأمان بمبادئ دستورية وتقييم ذاتي. قدَّم RLAIF وأثبت أن التقييم الآلي يُضاهي التقييم البشري أو يتجاوزه.

  5. 2023

    Claude — الذكاء الاصطناعي الدستوري في الإنتاج

    أطلقت Anthropic نموذج Claude المبني على مبادئ الذكاء الاصطناعي الدستوري، مُثبتةً أن هذا النهج ينجح على نطاق الإنتاج الفعلي مع الحفاظ على الفائدة والأمان والصدق.

  6. 2024

    RLAIF يصبح معياراً صناعياً

    تبنَّت عدة مختبرات أبحاث تقنيات التقييم الآلي في تدريب المحاذاة. وأصبحت المناهج الدستورية أداة أساسية في صندوق أدوات المحاذاة إلى جانب RLHF.

يقع الذكاء الاصطناعي الدستوري عند نقطة التقاء القدرة والسلامة، وأثبت أن الاثنين يمكن أن يتقدما معاً بدلاً من التنافس. من أبرز امتداداته أنظمة مبنية على المُحوِّل تُطبِّق المبادئ الدستورية على نطاق واسع، كما أن نموذج RLAIF الذي أطلقته هذه الورقة لا يزال يتطوَّر ويتوسَّع.

المرجعBai, Kadavath, Kundu, Askell, Kernion, Jones, Chen, Goldie, Mirhoseini, McKinnon, et al.. Constitutional AI: Harmlessness from AI Feedback. arXiv, 2022.

مصطلحات هذه الورقة