خصائص مُحيّرة في الشبكات العصبية

قبل هذه الورقة، كانت الطريقة المعتادة لفهم ما تعلّمته الشبكة هي البحث عن الصور التي تُنشّط عصبوناً واحداً بأقصى درجة. مثلاً: العصبون رقم 42 يستجيب للقطط، والعصبون رقم 117 يستجيب للسيارات — هكذا كانت القصة السائدة. وبدا من ذلك أن الشبكة تبني مفاهيم واضحة يمكن للإنسان تفسيرها مباشرة.

ما فعله سزيغيدي وزملاؤه هو أنهم اختاروا اتجاهات عشوائية في فضاء التنشيطات نفسه، فوجدوا أن التركيبات الخطية العشوائية من عدة عصبونات تحمل دلالات واضحة بقدر ما تحمله أي وحدة منفردة. اتجاه عشوائي قد يستجيب — مثلاً — لمشهد «كلاب أمام خلفية من أشجار»، وهو مفهوم متماسك لا يقلّ وضوحاً عمّا يلتقطه أيّ عصبون بمفرده.

ماذا يعني ذلك عملياً؟ أن المعرفة التي اكتسبتها الشبكة موزّعة على الفضاء بأكمله، ولا يوجد عصبون له مكانة خاصة. ما يحمل المعنى هو فضاء التنشيطات بهندسته واتجاهاته والمتشعّب الذي ترسمه البيانات فيه، لا المتجهات الأساسية المنفردة. تخيّل الأمر كبوصلة: ليس للشمال أفضلية ذاتية على أي اتجاه آخر — كل اتجاه يحمل معلومة جغرافية.

الاكتشاف الثاني أشد خطورة. ما أثبته المؤلفون هو أنه لأيّ صورة تُصنِّفها الشبكة بشكل صحيح، يمكن حساب اضطراب صغير جداً — صغير لدرجة أن العين البشرية لا تُفرّق بين الصورة الأصلية والمُعدَّلة — يجعل الشبكة تُصنّفها خطأً وبثقة عالية.

هذه الاضطرابات ليست ضجيجاً عشوائياً يُضاف كيفما اتّفق، بل هي محسوبة بدقة: تعديلات على مستوى البكسلات يُعثر عليها بحلّ مسألة أمثَلة. والاضطراب موجَّه — بمعنى أن المهاجم يختار الفئة الخاطئة التي يريد أن تتنبّأ بها الشبكة. صورة كلب مثلاً تتحوّل في نظر الشبكة إلى «نعامة» بثقة تامة.

أطلق المؤلفون على هذه الظاهرة مصطلح الأمثلة الخصومية. وهذا المصطلح — والتهديد الذي يقف خلفه — رسم ملامح عقد كامل من أبحاث أمان الذكاء الاصطناعي.

الهدف واضح: إيجاد أصغر اضطراب $r$ يُجبر الشبكة على تصنيف الصورة $x$ كفئة مستهدفة $\ell$ بدلاً من فئتها الحقيقية. بعبارة أخرى، نريد تعديلاً بسيطاً بأقل قدر ممكن من التغيير، لكنه كافٍ لخداع الشبكة. هذه في جوهرها مسألة أمثَلة مقيَّدة: صغّر الاضطراب قدر المستطاع، وتأكّد أن الشبكة تنخدع فعلاً.

الصياغة الرياضية هي تصغير $\|r\|_2$ بشرط أن تُصنِّف الشبكة $x + r$ على أنها $\ell$ وأن تبقى $x + r$ صورة صالحة بقيم بكسلات ضمن المجال $[0, 1]$. ولأن الحل المباشر لهذه المسألة صعب، أعاد المؤلفون صياغتها بأسلوب العقوبات:

الفكرة تُشبه شدّ الحبل بين طرفين: طرف يسحب الاضطراب نحو الصفر ليبقى خفياً، وطرف يسحب مخرج الشبكة نحو الفئة الخاطئة ليكون فعّالاً. أما الثابت $c$ فيُحدَّد بالبحث الخطي — نختار أصغر قيمة تكفي لإحداث تصنيف خاطئ.

الملاحظة الجوهرية هنا أن عملية الأمثَلة تجري في فضاء المدخلات وليس في فضاء الأوزان. في التدريب المعتاد، نُعدّل الأوزان لتقليل الخطأ على بيانات التدريب. أما هنا فالأوزان مُجمَّدة تماماً، والذي يتغيّر هو بكسلات الصورة ذاتها — والهدف هو تعظيم الخطأ على مثال محدّد. إنه الانتشار العكسي لكن بالاتجاه المعاكس: التدرّجات تتدفق نحو الصورة بدلاً من المعاملات.

النتيجة الأكثر إثارة للقلق هي أن الأمثلة الخصومية المُصمَّمة لشبكة بعينها تخدع في الغالب شبكة مختلفة تماماً — حتى لو اختلفت البنية، أو المعاملات الفائقة، أو حتى مجموعة البيانات التي تدرّبت عليها.

هذا يُسقط التفسير الأبسط وهو أن الأمثلة الخصومية مجرد شذوذات خاصة بتدريب نموذج معيّن. ما يُشير إليه بدلاً من ذلك هو أن الشبكات المختلفة تتعلّم حدود قرار متشابهة في مناطق متقاربة من فضاء المدخلات. أي أن «البقع العمياء» ليست حوادث عرضية في التدريب — بل هي سمات بنيوية في الطريقة التي تُقسّم بها هذه النماذج فضاء المدخلات.

ولهذا بُعد أمني بالغ الخطورة: المهاجم لا يحتاج إلى الوصول إلى النموذج المستهدف على الإطلاق. يكفيه أن يُدرّب نموذجاً بديلاً خاصاً به ويُولّد عليه أمثلة خصومية، وستنتقل تلك الأمثلة على الأرجح إلى النموذج المستهدف. يُعرف هذا بـهجوم الصندوق الأسود — حيث لا يرى المهاجم أوزان النموذج المستهدف ولا بنيته.

قدّم المؤلفون إطاراً نظرياً يُفسّر هذه الهشاشة. لكل طبقة $k$ في الشبكة العصبية ثابت يُعرف بثابت ليبشيتز $L_k$ — وهو عدد يُحدّد أقصى مقدار يمكن أن يتغيّر فيه مخرج الطبقة مقابل كل وحدة تغيُّر في مدخلها. تخيّله مُضخِّم حساسية: إذا كان $L_k = 3$ فهذا يعني أن الطبقة قادرة على مضاعفة أي اضطراب يمر بها ثلاث مرات.

والنقطة المحورية هنا أنه في شبكة من $K$ طبقة، فإن ثابت ليبشيتز الإجمالي يساوي حاصل ضرب ثوابت الطبقات — وليس مجموعها:

في الطبقات التي تستخدم ReLU مع تحويل خطي، يُساوي ثابت ليبشيتز لكل طبقة مقياسَ المؤثّر — وهو أكبر قيمة مفردة — لمصفوفة الأوزان $W_k$:

اقترحت الورقة أيضاً أول آلية دفاعية: التدريب الخصومي. الفكرة مباشرة — نُولّد أمثلة خصومية أثناء التدريب وندمجها في مجموعة التدريب، فتتعلّم الشبكة تصنيف المدخلات النظيفة والمُضطربة معاً بشكل صحيح.

ما لاحظه المؤلفون أن دمج الأمثلة الخصومية في التدريب يعمل كنوع من التنظيم — يُقلّل فرط التخصيص ويُحسّن التعميم على بيانات الاختبار النظيفة، وليس فقط على المدخلات الخصومية. والسبب أن التدريب الخصومي يُجبر الشبكة على رسم حدود قرار أكثر نعومة لا تتقلّب بشكل حاد بالقرب من نقاط البيانات.

الأمر يُشبه اختبارات التحمّل أثناء تصميم الجسور: الجسر الذي صُمّم ليتحمّل أحمالاً قصوى يكون أكثر أماناً تحت الأحمال الاعتيادية أيضاً. تدريب النموذج على مواجهة الهجمات الخصومية يمنحه متانة أشمل.

حين يمكن خداع سيارة ذاتية القيادة بملصق على لافتة توقف، أو يُفلت ورم من نظام تصوير طبي بسبب ضجيج في المستشعر يتّفق أن يكون خصومياً — فالعواقب تصبح مسألة حياة أو موت. ما فعلته هذه الورقة هو أنها أجبرت مجتمع الذكاء الاصطناعي على مواجهة حقيقة مُقلقة: الدقة العالية على مجموعات الاختبار لا تعني أن النموذج آمن.

الدرس الجوهري هو أن الشبكات العصبية تتعلّم حدود قرار غير مستقرة محلياً. تحقّق خطأً منخفضاً في المتوسط، لكن جيوباً من الفشل الكارثي منتشرة في كل أرجاء فضاء المدخلات — والخصم يستطيع الوصول إليها بشكل منهجي.

هذا الإدراك فصل بين مفهومي الدقة والمتانة بوصفهما هدفين بحثيين مستقلين، وأطلق حقولاً فرعية بأكملها: المتانة الخصومية، والدفاعات المُعتمَدة رياضياً، وممارسات الفريق الأحمر التي أصبحت اليوم إجراءً معيارياً قبل نشر أنظمة الذكاء الاصطناعي الكبيرة.

بعد مرور أكثر من عقد، لا يزال سباق التسلّح الخصومي قائماً. كل هجوم جديد يستدعي دفاعاً جديداً، وكل دفاع يُكسر عاجلاً أو آجلاً. لكن أعمق ما خلّفته هذه الورقة يظل صامداً: الدقة العالية على بيانات الاختبار شرط ضروري لكنه غير كافٍ. نماذج تبدو مثالية في التقييم المعياري قد تنهار بشكل كارثي في ظروف خصومية. أمان الذكاء الاصطناعي يبدأ بالاعتراف بهذه الفجوة.