فهم الأمثلة الخصومية واستثمارها

في عام 2014، كشف سزيغدي وفريقه عن ملاحظة مفاجئة: خذ أي صورة يصنّفها نموذج عصبي عميق بنجاح، وأضف إليها تعديلاً محسوباً بعناية لكنه صغير جداً بحيث لا تستطيع العين التمييز بين الصورتين — ومع ذلك يتنبأ النموذج بفئة خاطئة تماماً وبثقة عالية. صورة باندا تتحوّل إلى قرد جيبون، ولافتة «قف» تُقرأ كلافتة سرعة.

ثلاث ملاحظات جعلت هذه الظاهرة مُحيّرة بشكل خاص:

• الاضطرابات غير مرئية — تغيّر كل بكسل لا يتجاوز 1/255 من المدى الديناميكي.
• المثال الخصومي نفسه يخدع بنيات مختلفة دُرِّبت على بيانات مختلفة. أي أن الخدعة ليست مرتبطة بنموذج بعينه.
• الدفاعات المعتادة — الإسقاط العشوائي والتدريب المسبق وتجميع النماذج — لم توفّر أي حماية.

التفسير الذي كان سائداً افترض أن الشبكات العميقة لاخطية بإفراط، وأن حدود القرار فيها شديدة الانحناء وتحوي جيوباً صغيرة يقع فيها تصنيف خاطئ. لكن غودفيلو وفريقه قدّموا فرضية معاكسة: المشكلة الحقيقية أن الشبكات الحديثة خطّية أكثر مما ينبغي.

لماذا خطّية؟ لأننا صمّمناها هكذا عن قصد. تنشيطات ReLU خطّية بالقطع. بوابات LSTM تعمل غالباً في نطاقها الخطّي. وحدات Maxout تختار بين دوال خطّية. حتى شبكات السيغمويد تُضبط لتتجنب التشبّع فتبقى في المنطقة الوسطى شبه الخطية. هذه الخطّية هي ما يجعل الأمثَلة بـالانحدار التدريجي سلسة وفعّالة، لكنها في المقابل تجعل الشبكات سهلة الخداع.

لنستعرض الحُجّة الرياضية الأساسية. لنفترض أن لدينا متجه أوزان $\mathbf{w}$ ومُدخلاً $\mathbf{x}$. نُضيف اضطراباً $\boldsymbol{\eta}$ فنحصل على المُدخل الخصومي $\tilde{\mathbf{x}} = \mathbf{x} + \boldsymbol{\eta}$. الضرب النقطي يصبح:

$\mathbf{w}^\top \tilde{\mathbf{x}} = \mathbf{w}^\top \mathbf{x} + \mathbf{w}^\top \boldsymbol{\eta}$

إذن الاضطراب يُغيّر التنشيط بمقدار $\mathbf{w}^\top \boldsymbol{\eta}$. السؤال: كيف نجعل هذا التغيير أكبر ما يمكن مع إبقاء كل عنصر من $\boldsymbol{\eta}$ صغيراً (لا يتجاوز $\epsilon$)؟ الجواب أن نضبط $\boldsymbol{\eta} = \epsilon \cdot \text{sign}(\mathbf{w})$، فتصبح الإزاحة الناتجة $\epsilon \cdot \|\mathbf{w}\|_1$.

لو كان لـ$\mathbf{w}$ عدد $n$ من الأبعاد بمتوسط قيمة مطلقة $m$ لكل عنصر، فالإزاحة تساوي $\epsilon \cdot m \cdot n$. كل عنصر من $\boldsymbol{\eta}$ لا يتعدى $\epsilon$ — أي غير مرئي عملياً — لكن الأثر الكلّي ينمو خطّياً مع عدد الأبعاد $n$. في فضاء بآلاف الأبعاد، تلك الدفعة الضئيلة على مستوى كل بكسل تتجمّع لتُحدث تغييراً ضخماً في المخرجات.

الجميل في الفرضية الخطّية أنها لا تفسّر الأمثلة الخصومية فحسب، بل تُعطينا فوراً طريقة لتوليدها. المنطق بسيط: ما دامت الخطّية هي السبب، فيكفي أن نُقرّب دالة التكلفة خطّياً حول المُدخل الحالي حتى يظهر لنا اتجاه الاضطراب الأمثل.

الآلية كالتالي: احسب تدرّج دالة الخسارة بالنسبة للمُدخل، ثم خذ إشارة كل عنصر (موجب أو سالب). هذا يُعطيك الاتجاه الذي يرفع الخسارة أقصى ما يمكن عند كل بكسل، مع بقاء الاضطراب داخل كرة $\ell_\infty$ بنصف قطر $\epsilon$.

تمرير أمامي واحد، تمرير عكسي واحد، عملية إشارة على كل عنصر — والمثال الخصومي جاهز. قارن ذلك بطريقة سزيغدي السابقة التي كانت تحتاج أمثَلة L-BFGS مكلّفة حسابياً عبر تكرارات كثيرة.

تخيّل FGSM كأنك تصعد أشدّ منحدر على سطح الخسارة، لكنك تأخذ خطوة واحدة فقط بحجم ثابت $\epsilon$ في كل بُعد. دالة الإشارة تضمن أن كل بكسل يدفع الخسارة للأعلى بالمقدار نفسه — وبهذا تستغل ميزانية الاضطراب المحدودة بأقصى كفاءة ممكنة.

النتائج مُدمّرة. مصنّف Softmax بسيط على MNIST حين يُهاجَم بـ$\epsilon = 0.25$ يقفز خطؤه من 1.6% إلى 99.9% — أي أن كل عيّنة تقريباً تُصنَّف خطأً. حتى شبكة Maxout الأقوى بكثير تصل إلى 89.4% خطأ تحت الهجوم نفسه، مع ثقة وسطية تبلغ 97.6% في التنبؤات الخاطئة.

على CIFAR-10 بـ$\epsilon = 0.1$، شبكة Maxout الالتفافية تصل إلى 87.15% خطأ بثقة 96.6% في التصنيفات الخاطئة. لاحظ أن النماذج ليست مخطئة فقط — بل واثقة من خطئها.

من أكثر الظواهر إثارةً للتساؤل أن الأمثلة الخصومية تنتقل بين النماذج: صورة خصومية صُنعت لخداع النموذج (أ) كثيراً ما تخدع النموذج (ب) أيضاً، حتى لو اختلفت بنيته وبيانات تدريبه. لو كان التفسير هو اللاخطية المفرطة، فلا سبب مقنع لأن تتشارك دالتان لاخطيتان مختلفتان النقاط العمياء نفسها.

الفرضية الخطّية تُفسّر ذلك بشكل طبيعي. النماذج المُدرَّبة على المهمة ذاتها تتعلم أوزاناً متقاربة في اتجاهها، لأن التعميم هو جوهر التعلم الآلي. فإذا تشابه اتجاه أوزان النموذجَين، فإن الاضطراب $\text{sign}(\nabla_\mathbf{x} J)$ المحسوب للنموذج (أ) سيكون له ضرب نقطي موجب وكبير مع أوزان النموذج (ب) أيضاً. الاضطراب يتحرك في اتجاه عريض داخل فضاء المدخلات وليس في نقطة دقيقة هشّة، ولذلك ينتقل بسهولة.

ما دامت FGSM تولّد أمثلة خصومية بتكلفة حسابية زهيدة، فالسؤال الطبيعي: لمَ لا ندرّب النموذج عليها؟ الفكرة بسيطة لكنها فعّالة: في كل خطوة تدريب، ولِّد نسخاً خصومية من الدفعة الحالية ودرِّب النموذج على الأمثلة النظيفة والخصومية معاً. بهذا يتعلم النموذج مقاومة أقوى اضطراب يستطيع إيجاده، بدلاً من مجرد حفظ بيانات التدريب.

دالة الهدف في التدريب الخصومي تمزج بين الخسارة النظيفة والخسارة الخصومية:

النتائج ملفتة. على MNIST بشبكة Maxout أكبر (1600 وحدة في كل طبقة):

• خطأ الاختبار النظيف: تحسّن من 0.94% إلى 0.78% — أي أن التدريب الخصومي يعمل كـمُنظِّم، ويتفوّق على الإسقاط العشوائي وحده.
• الخطأ الخصومي: هبط من 89.4% إلى 17.9% — تحسُّن كبير في متانة النموذج.
• الأوزان المُتعلَّمة أصبحت أكثر تمركزاً وقابلية للتفسير، إذ ركّز النموذج على سمات ذات دلالة معنوية بدلاً من أنماط منتشرة تشبه الضجيج.

يمكن تأطير التدريب الخصومي بعدة أُطر نظرية: كلعبة مصغَّرة عُظمى مع خصم، أو كتقليل لحدّ أعلى على التكلفة المتوقعة عند وجود تشويش في المدخلات، أو كنوع من التعلم الفعّال يطلب فيه النموذج تصنيفات لأصعب الأمثلة التي يواجهها.

تختبر الورقة عدة دفاعات بشكل منهجي وتُسقطها واحداً تلو الآخر:

• الإسقاط العشوائي والتنظيم المعتاد: لا يمسّان العلاقة الخطّية الأساسية بين اضطراب المُدخل والمخرجات، فيظل النموذج سهل الخداع.
• النماذج التوليدية: نموذج MP-DBM (توليدي بخطأ 0.88% على MNIST) يصل إلى 97.5% خطأ على أمثلة خصومية. كون النموذج توليدياً لا يوفّر حماية.
• تجميع النماذج: تجميعة من 12 شبكة Maxout تصل إلى 91.1% خطأ على أمثلة خصومية صُمّمت ضد التجميعة بأكملها. التوسيط لا يُلغي أثر الاضطرابات الخصومية.
• الضجيج العشوائي: التدريب بضجيج عشوائي $\pm\epsilon$ يُعطي 86.2% خطأ خصومي مقابل 17.9% فقط مع التدريب الخصومي بـ FGSM. الضجيج العشوائي أمثلة «سهلة»، بينما FGSM تولّد الأمثلة «الصعبة» فعلاً.

عائلة النماذج الوحيدة التي أبدت مقاومة طبيعية هي شبكات الدالة القاعدية الشعاعية (RBF)، بخطأ 55.4% فقط على الأمثلة الخصومية لأنها تستجيب بثقة منخفضة جداً (1.2%) حين تُخدع. لكن شبكات RBF لا تملك السعة الكافية لـالتعميم الجيد، وهنا يظهر التوتّر الجوهري: النماذج الخطّية سهلة الأمثَلة لكنها سهلة الهجوم، والنماذج اللاخطية المقاومة للهجوم صعبة التدريب.

في حالة الانحدار اللوجستي، اضطراب FGSM دقيق تماماً وليس تقريباً. عندها تصبح دالة هدف التدريب الخصومي هي تقليل:

$\mathbb{E}_{x,y} \left[ \zeta\!\left(y(||\mathbf{w}||_1 - \mathbf{w}^\top \mathbf{x} - b)\right) \right]$

للوهلة الأولى يبدو هذا مشابهاً لـتنظيم $L_1$، لكن الفرق جوهري: عقوبة $L_1$ هنا تُطرح من التنشيط ولا تُضاف إلى التكلفة. ما يعنيه ذلك أنه حين يكون النموذج واثقاً من تنبؤاته الصحيحة، تتشبّع العقوبة وتتوقف تلقائياً. أما تناقُص الأوزان بـ$L_1$ فأكثر تشاؤماً — لا يتوقف أبداً حتى لو امتلك النموذج هامشاً كافياً. عملياً، التدريب الخصومي بـ$\epsilon = 0.25$ يعمل جيداً على MNIST، بينما $L_1$ بمعامل 0.0025 يُسبّب نقصاً في الملاءمة.

ليست كل النماذج هشّة بالدرجة نفسها. تُميّز الورقة بوضوح بين نماذج تستطيع تعلّم المتانة وأخرى لا تستطيع:

• النماذج الخطّية (مثل انحدار Softmax) لا تملك أي آلية لمقاومة الاضطراب الخصومي. تستجيب بثقة في كل اتجاه من فضاء المدخلات ولا تستطيع أن «تقول لا أعرف».
• شبكات RBF تقاوم الأمثلة الخصومية بطبيعتها، لأنها لا تستجيب بثقة إلا بالقرب من مراكزها المُتعلَّمة. بعيداً عن البيانات تعود إلى ثقة منخفضة. لكن الثمن هو التعميم — لا تنقل المعرفة إلى مناطق لم ترها من قبل.
• الشبكات العميقة ذات الطبقات الخفية تستطيع نظرياً تعلُّم المقاومة — مبرهنة المُقرِّب الشامل تضمن ذلك. لكنها تحتاج تدريباً صريحاً على المتانة، والتدريب المعتاد لا يطلبها فلا يتعلّمها النموذج.

هذا يرسم طيفاً: النماذج الخطّية عالية الاستدعاء لكنها منخفضة الدقّة (تستجيب لكل شيء لكن يسهل خداعها)، بينما شبكات RBF عالية الدقّة لكنها منخفضة الاستدعاء (لا تستجيب إلا للمُدخلات المألوفة وتفوتها المُدخلات الجديدة).

تمثّل هذه الورقة نقطة تحوّل حقيقية في المجال. قبلها، كانت الأمثلة الخصومية مجرد ظاهرة غريبة تثير الفضول. بعدها، تحوّلت إلى برنامج بحثي متكامل. الفرضية الخطّية قدّمت إطاراً موحَّداً جعل الظاهرة مفهومة ووفّر أدوات عملية للتعامل معها.