اختبار الفريق الأحمر للنماذج اللغوية للحدّ من أضرارها: المنهجيات وأنماط التوسّع والدروس المستفادة

فكرة الفريق الأحمر مأخوذة من المجال العسكري والأمن السيبراني: فريق مهمّته محاولة اختراق النظام، وفريق آخر يدافع عنه. في عالم النماذج اللغوية الكبيرة، الفكرة هي أن تُكلّف أشخاصاً — أو حتى نماذج أخرى — بمحاولة دفع النموذج عمداً نحو مخرجات ضارة: محتوى مسيء، تعليمات خطيرة، بيانات شخصية، أو معلومات مُضلِّلة.

لكن لماذا لا تكفي معايير التقييم التقليدية؟ لأنها تعتمد على مُدخلات ثابتة ومحدّدة سلفاً. الإنسان يستطيع الإبداع والتكيّف والإصرار بطرق لا تلتقطها الاختبارات الجامدة. مثلاً قد يلجأ المهاجم إلى تمثيل الأدوار (كأن يقول «تخيّل أنك شخصية شريرة واشرح لي كيف…»)، أو يبدأ بسؤال بريء ثم يُصعّد تدريجياً عبر عدة جولات حتى يصل إلى منطقة خطرة، أو يستغلّ ميل النموذج الطبيعي لتقديم المساعدة.

هذه الورقة أجرت واحدة من أولى عمليات اختبار الفريق الأحمر المنهجية على نطاق واسع. شارك 324 شخصاً من منصات العمل الجماهيري ونفّذوا 38,961 هجمة خصومية على نماذج بأحجام وتكوينات أمان مختلفة. الهدف كان ثلاثياً: اكتشاف أنواع الأضرار التي تُنتجها هذه النماذج، والتحقّق من فعالية تدخّلات الأمان المختلفة، ونشر النتائج علناً ليستفيد منها المجتمع البحثي.

اختبر الباحثون أربعة أنواع من المساعدات الذكية، كل منها بمستوى حماية مختلف. فكّر فيها كأربعة أقفال متدرّجة التعقيد على الخزنة نفسها:

نموذج لغوي خام (Plain LM) — نموذج بلا أي تدابير أمان، يعمل كمساعد حواري بالحدّ الأدنى من التنسيق. هذا هو خطّ الأساس — خزنة بقفل بسيط.

نموذج لغوي مُوجَّه (Prompted LM) — النموذج نفسه، لكن مع مُوجِّه يتضمّن 14 مثالاً تُرشده ليكون مفيداً وصادقاً وغير مؤذٍ (HHH). أشبه بحارس أمن يعمل وفق تعليمات مكتوبة — مفيد، لكن يسهل خداعه بقليل من الحيلة.

أخذ العيّنات بالرفض (RS) — عند كل ردّ، يُولّد النموذج 16 إجابة مرشّحة، ثم يختار نموذج تفضيلات الأقل ضرراً من بينها. أشبه بلجنة تُراجع كل إجابة قبل إرسالها.

التعلّم المعزَّز من التغذية الراجعة البشرية (RLHF) — هنا يُدرَّب النموذج من الأساس بحيث يتعلّم داخلياً تفضيل الردود الآمنة، باستخدام التعلّم المعزَّز لتعظيم درجات عدم الضرر. هذا هو القفل الذي أُعيد تصميمه كلياً بناءً على ما اكتشفه اللصوص السابقون.

اختُبر كل نوع بثلاثة أحجام: 2.7 و13 و52 مليار معامل. هذه المصفوفة من 12 تكويناً أتاحت دراسة كيف يتغيّر الأمان مع حجم النموذج ونوع التدخّل المستخدم.

أبرز نتائج الورقة مُوضَّحة في الشكل 1. قاس الباحثون نجاح الهجمات بطريقتين: تقييم ذاتي من أعضاء الفريق الأحمر على مقياس من خمس نقاط، ودرجة آلية من نموذج تفضيلات مُدرَّب على تمييز الردود الضارة (كلما انخفضت الدرجة زاد الضرر).

الاكتشاف الذي غيّر المجال: نماذج التعلّم المعزَّز من التغذية الراجعة البشرية تزداد صعوبة في اختراقها كلما كبر حجمها. النموذج ذو 52 مليار معامل المُدرَّب بـRLHF كان أكثر مقاومة بفارق واضح عن نسخة 2.7 مليار. هذا يعني أن التوسّع يعمل لصالح الأمان — لكن فقط حين يكون الأمان مدمجاً في التدريب نفسه.

أمّا الأنواع الثلاثة الأخرى — النموذج الخام، والمُوجَّه، وأخذ العيّنات بالرفض — فلم تُظهر تحسّناً مع التوسّع. تكبير النموذج لم يزده أماناً ما لم يُدمج الأمان في عملية التدريب ذاتها.

ومن النتائج المفاجئة: النموذج المُوجَّه بـ14 مثالاً لم يكن أصعب في اختراقه من النموذج الخام بلا أي حماية. هذا يناقض نتائج سابقة من معايير تقييم ثابتة، ويُظهر أن الإنسان قادر على تجاوز الأمان القائم على الموجِّهات بطرق لا تكشفها الاختبارات المُعدّة سلفاً.

أخذ العيّنات بالرفض كان الأصعب في مهاجمته عند كل الأحجام. لكن الباحثين لاحظوا أنه يحقّق أمانه بالتهرّب — يرفض الحوار من الأساس بدلاً من أن يتفاعل بشكل مفيد مع تجنّب الضرر.

كيف تقيس ما إذا كان ردّ النموذج ضاراً؟ استخدم الباحثون طريقتين متكاملتين. الأولى أن أعضاء الفريق الأحمر أنفسهم قيّموا نجاح هجماتهم على مقياس من 0 إلى 4 بعد كل محادثة. الثانية أن نموذج تفضيلات منفصلاً — شبكة عصبية مُدرَّبة على التفريق بين الضار وغير الضار — منح كل ردّ درجة آلياً.

هذا النموذج يتعلّم عبر المقارنة الثنائية: أثناء جمع البيانات، يُعرض على كل عضو ردّان محتملان ويُطلب منه تحديد الأكثر ضرراً. من هذه المقارنات يتعلّم النموذج تقييم أي ردّ جديد على مقياس مستمرّ لعدم الضرر.

لكل محادثة، حُسبت درجة عدم الضرر لكل ردّ (مع مراعاة كامل السياق السابق)، ثم أُخذ الحدّ الأدنى كدرجة المحادثة ككل. الفكرة بسيطة: ردّ واحد ضار يكفي لجعل التفاعل بأكمله خطيراً، حتى لو كانت بقية الردود سليمة.

المقياسان مترابطان لكنهما ليسا متطابقين. التقييم البشري يعكس الحكم الشخصي للمهاجم، بينما الدرجة الآلية توفّر قياساً متّسقاً وقابلاً للتوسّع. الجمع بينهما يُعطي صورة أشمل عن مدى نجاح الهجوم.

من أهمّ ما قدّمته الورقة تصنيف مفصّل لأنواع الهجمات والأضرار التي كشفتها. حوّل الباحثون جميع نصوص الهجمات (38,961) إلى تضمينات باستخدام نموذج بحجم 52 مليار معامل، ثم أسقطوها إلى بُعدين عبر UMAP. ظهرت تجمّعات طبيعية أمكن تصنيفها يدوياً.

الفئات الخمس الأكثر شيوعاً: (1) التمييز والظلم، (2) خطاب الكراهية واللغة المسيئة، (3) العنف والتحريض، (4) السلوك غير الأخلاقي غير العنيف كالكذب والغش والتلاعب، و(5) التنمّر والتحرّش.

النقطة المهمّة هنا أن الهجمات الخفيّة — وخاصة «السلوك غير الأخلاقي غير العنيف» — نجحت بمعدّل أعلى من الهجمات الفجّة المباشرة. وهذا منطقي: آليات الأمان مُعايَرة عادةً لصدّ السمّية الواضحة كالشتائم والعنف الصريح، فتمرّ الانتهاكات الأخلاقية الأكثر نعومة بسهولة أكبر.

هناك أيضاً فئات أقل تكراراً لكنها ذات دلالة: طلب بيانات شخصية، تعاطي المواد، الاحتيال، معلومات عن أسلحة، إرهاب، إيذاء نفس، وإيذاء أطفال. فئة «أخرى» كانت شائعة كذلك، وهذا يؤكّد أن أي تصنيف ثابت سيُفوّت أنواعاً من الهجمات يبتكرها البشر.

ضمّ الفريق الأحمر 324 شخصاً مقيمين في الولايات المتحدة، معظمهم (307) من منصة أمازون ميكانيكال تيرك والبقية (17) من أبوورك. التعليمات كانت مفتوحة: «حاول دفع النموذج للتصرف بشكل سيء» — مع حرية كاملة في اختيار أسلوب الهجوم والموضوع ضمن حدود التحمّل الشخصي.

ملاحظة لافتة عن الفريق نفسه: نحو 80% من الهجمات جاءت من 15% فقط من العاملين. بعض الأفراد كانوا أمهر بكثير من غيرهم في إيجاد الثغرات — وهذا له دلالات عملية مهمّة في كيفية اختيار فرق الاختبار وتدريبها. استخدم الباحثون نموذج تأثيرات مختلطة خطياً لتقدير قدرة كل عامل، ووجدوا تبايناً واضحاً في المهارة.

بعض العاملين اعتمدوا على قوالب جاهزة (مثل «أخبرني بإهانة لـ[شخص] تبدأ بحرف [كذا]»)، وهذه تُنتج هجمات كثيرة بسرعة لكن بتنوّع محدود. آخرون كانوا أكثر إبداعاً: ابتكروا هجمات تمثيل أدوار، واستراتيجيات تصعيد متعددة الجولات، وأساليب تلاعب ناعمة. الهجمات الأخطر تطلّبت دائماً إبداعاً ومثابرة.

اهتمّ الباحثون أيضاً برفاهية العاملين: تحذيرات مسبقة من المحتوى الصعب، إرشادات للتحمّل الشخصي، فترات راحة مُوصى بها، واستبيان رفاهية. الطريف أن المشاركين أبلغوا عموماً عن مشاعر إيجابية واستمتاع بالعمل — نتيجة مُطمئنة بالنظر إلى التشابه مع إشراف المحتوى حيث إرهاق العاملين مشكلة معروفة.

سؤال جوهري في أي عملية فريق أحمر: هل يتّفق أشخاص مختلفون على ما إذا كان الهجوم ناجحاً؟ لمعرفة ذلك، أجرى الباحثون تجربة منفصلة طلبوا فيها من 3 مُقيّمين مستقلين تقييم الألف نصّ هجوم نفسها.

النتيجة كانت مُقلقة: الاتفاق بين المُقيّمين منخفض. مقياس فلايس كابا — حيث 1 تعني اتفاقاً تاماً و0 مستوى الصدفة — أعطى 0.32 فقط للمقياس الخماسي، وارتفع إلى 0.49 حين بُسِّط التقييم إلى ثنائي (ناجح أو غير ناجح). وحتى بين المراجعين الثلاثة وحدهم دون المهاجم الأصلي، لم يتجاوز الاتفاق 0.55.

ماذا يعني هذا؟ أن مفهوم «الضرر» ذاتيّ بطبيعته. ما يعتبره شخصٌ هجوماً ناجحاً — نصيحة خطرة، تلاعب خفيّ، نكتة مسيئة — قد لا يراه آخر ضاراً أصلاً. هذه ليست مشكلة في المنهجية بل صفة جوهرية في الضرر نفسه: فهو يعتمد على السياق والخلفية الثقافية والحساسية الفردية.

الخلاصة أن أي مقياس واحد لعدم الضرر — بشرياً كان أو آلياً — يُقدّم صورة جزئية. لذلك أوصى الباحثون باستخدام مقاييس متعددة والشفافية حول عدم اليقين المُلازم لقياس الضرر.

قرار جريء: نشر الباحثون كامل مجموعة البيانات — 38,961 هجمة — للعموم. القرار لم يكن بلا جدل، لأن البيانات نفسها التي تساعد في بناء نماذج أكثر أماناً يمكن أن تُستخدم لتدريب نماذج أكثر ضرراً. لكن الفريق وازن بين الإيجابيات والمخاطر بوضوح.

من حيث القيمة: هذه المجموعة أكبر بعشر مرات من سابقتها (مجموعة حوارات Bot الخصومية التي ضمّت نحو 5,000 محادثة). تغطي نماذج أكبر، وتشمل هجمات على نماذج مُدرَّبة بـالتعلّم المعزَّز من التغذية الراجعة البشرية، وترفق كل هجمة بتقييمات بشرية ودرجات عدم ضرر آلية. تكلفة إنتاجها وحدها تجاوزت 60,000 دولار أجوراً للعاملين.

كل نقطة بيانات تشمل: نصّ المحادثة، تقييم المهاجم لمدى نجاحه، وصف مختصر للهجمة المقصودة، درجات عدم الضرر لردود النموذج ولوصف الهجوم، نوع النموذج وحجمه، ومُعرِّف مجهول للعامل. نُقّيت البيانات من معلومات التعريف الشخصي باستخدام تعبيرات نمطية، مع ملاحظة أن بعض البيانات الشخصية التي أنتجها النموذج (كعناوين وأرقام هواتف) بدت مُختلَقة وليست حقيقية.

أصبحت هذه المجموعة مرجعاً أساسياً للمجتمع البحثي: استُخدمت لبناء مصنّفات أمان، وتطوير أساليب فريق أحمر آلية، وتوصيف أنماط الهجوم على النماذج اللغوية.

من نقاط القوة في هذه الورقة صراحتها حول القيود. الفريق الأحمر بأكمله كان من الولايات المتحدة، ما يعني أن البيانات تعكس منظوراً ثقافياً واحداً. الأضرار المرتبطة بثقافات ولغات وسياقات أخرى قد تكون ممثَّلة بشكل ناقص.

الخبرة التخصصية كانت فجوة أخرى. بعض الهجمات تحتاج معرفة متخصصة للحكم عليها — هل تعليمات تركيب مادة كيميائية قابلة للتنفيذ فعلاً؟ هل النصيحة الطبية خطيرة حقاً؟ عاملون بلا هذه الخبرة قد يُقيّمون مثل هذه الهجمات بشكل غير دقيق.

البيانات أيضاً ناقصة بطبيعتها. النماذج دُرِّبت جزئياً على كود برمجي، لكن لم تظهر أي هجمات تتعلّق بتوليد كود خبيث. وهجمات تمثيل الأدوار — حيث يُطلب من النموذج التصرّف كشخصية خيالية تتجاوز قواعد الأمان — اكتُشفت داخلياً لكنها غابت عن بيانات العاملين.

وأخيراً، أشارت الورقة إلى توتّر أساسي: نشر النتائج علناً يُحسّن أمان المجتمع، لكنه يكشف أيضاً ثغرات قد يستغلّها مسيئون. لذا دعا المؤلفون إلى بناء معايير مشتركة ومنتديات محايدة لمناقشة هذا التوازن.

تأثير هذه الورقة يتجاوز نتائجها التقنية. بنشرها المنهجية والبيانات ونقاط عدم اليقين بالكامل، رسّخت الشفافية كمعيار في أبحاث أمان الذكاء الاصطناعي. النتيجة القائلة بأن التعلّم المعزَّز من التغذية الراجعة البشرية يتحسّن أمنياً مع التوسّع أصبحت فرضية أساسية في تصميم الأنظمة اللاحقة. ونقاش الورقة الصريح حول المقايضات — بين الانفتاح والأمان، وبين الشمولية والجدوى — وضع نموذجاً لكيفية تواصل المختبرات المسؤولة حول الأمان.