تصوير سطح الخسارة في الشبكات العصبية

دالة الخسارة تأخذ أوزان الشبكة — وهي غالباً ملايين الأرقام — وتُخرج رقماً واحداً يعبّر عن مقدار خطأ الشبكة. عملية التدريب في جوهرها بحثٌ في هذا الفضاء الهائل عن أخفض نقطة ممكنة. المشكلة أنّ عين الإنسان لا تستوعب أكثر من بُعدين أو ثلاثة، فكيف نرسم تضاريس بملايين الأبعاد؟

أبسط محاولة: نختار نقطتي أوزان ونرسم قيمة الخسارة على الخط الواصل بينهما فنحصل على مقطع أحادي البُعد. أو نختار نقطة مركزية واتجاهين عشوائيين فنحصل على سطح ثنائي البُعد. قبل هذه الورقة، كان في كلا الأسلوبين عيب جوهري: لم يُراعيا ثبات القياس. فالشبكة التي تستخدم تسوية الدُّفعات لا يتغيّر سلوكها إن ضربنا أوزان طبقة في 10 وقسمنا الطبقة التالية على 10 — لكنّ الرسم التقليدي سيبدو مختلفاً تماماً لهاتين الشبكتين المتكافئتين، وبذلك تفقد أيّ مقارنة للحدّة معناها.

الفكرة بسيطة بشكل مفاجئ. حين نختار اتجاهاً عشوائياً لإزاحة الأوزان، نُسوّي كل مرشّح على حدة (وليس متّجه الاتجاه كاملاً) بحيث يصبح طوله مساوياً لطول المرشّح المقابل في الشبكة المُدرَّبة. النتيجة أنّ كل إزاحة تتناسب مع الحجم الطبيعي لكل مرشّح — المرشّحات الكبيرة تُزاح بمقدار كبير، والصغيرة بمقدار صغير.

تخيّل أنك تقارن خشونة تضاريسَين من صورتين جوّيتين التُقطتا من ارتفاعين مختلفين. بدون ضبط الارتفاع، التلّ نفسه قد يبدو مسطّحاً من بعيد وخشناً من قريب. تسوية المرشّحات تضمن أنّ كلتا الصورتين من الارتفاع نفسه، فأيّ فرق في الخشونة يعكس الواقع لا اختلاف المقياس.

بعد التسوية، نحسب السطح ثنائي البُعد بالصيغة التالية:

لفترة طويلة ساد اعتقاد بأنّ الانحدار التدريجي العشوائي حين يعمل بدُفعات صغيرة يصل إلى نهايات صغرى «مسطّحة» تُعمّم جيداً، بينما الدُّفعات الكبيرة تقوده إلى نهايات «حادّة» تقع في فخّ الملاءمة المفرطة. لكنّ هذا الادعاء لم يكن محسوماً — فقد بيّن دين وزملاؤه أنّ بالإمكان إعادة تحجيم الأوزان لتبدو أيّ نهاية صغرى حادة أو مسطحة دون أن يتغيّر سلوك الشبكة إطلاقاً.

المؤلفون حسموا هذا الجدل برسوم مُسوّاة حسب المرشّح. بعد التسوية تختفي الفروق الوهمية الناتجة عن مقياس الأوزان، ولا يبقى إلا الشكل الهندسي الحقيقي لكل نهاية صغرى. النتيجة: نهايات الدُّفعات الصغيرة أكثر تسطُّحاً فعلاً — وهذا التسطُّح يرتبط بخطأ اختبار أقل. الارتباط ليس كبيراً ضمن البنية الواحدة، لكنه ثابت ومتكرّر.

أقوى نتيجة بصرية في الورقة تظهر حين نقارن شبكات ResNet (التي تحوي وصلات متخطّية) مع البنى ذاتها بعد إزالة تلك الوصلات. عند 20 طبقة الفرق طفيف — كلا السطحين ناعم إلى حدّ معقول. لكن عند 56 طبقة، السطح بدون وصلات متخطّية يتشوّه بشدّة: تظهر مناطق واسعة لا يشير فيها مُتّجه الميل حتى نحو النهاية الصغرى، والخسارة ترتفع بحدّة في اتجاهات كثيرة. عند 110 طبقات يصبح السطح فوضوياً لدرجة أنّ التدريب يكاد يستحيل.

الوصلات المتخطّية تحمي من هذه الفوضى. حتى عند 110 طبقات، يبقى سطح ResNet ناعماً بخطوط كنتورية واسعة وشبه محدّبة حول النهاية الصغرى. والمثير أنّ الخط الكنتوري عند مستوى 0.1 يكاد يحتفظ بالعرض نفسه سواء كانت الشبكة 20 أو 110 طبقات — أي أنّ العمق بالكاد يُؤثّر في الهندسة المحلية حين تكون الوصلات المتخطّية موجودة.

لماذا تُنعّم الوصلات المتخطّية السطح بهذا الشكل؟ الفكرة أنّ الكتلة المتبقّية تحسب $y = F(x) + x$، أي أنّ المخرجات تحتوي دائماً على نسخة من المدخلات مهما حدث. حتى لو كانت الدالة المتعلَّمة $F(x)$ فوضوية وغير مستقرّة، فإنّ إضافة $x$ تُنشئ ممرّاً مباشراً يتدفّق عبره مُتّجه الميل بسلاسة. هذا يجعل سطح الخسارة حسن التكييف: القيم الذاتية لمصفوفة هِسيان تبقى محدودة، فتظلّ الخطوط الكنتورية ناعمة.

هذا يُفسّر أيضاً أهمية تهيئة الأوزان في الشبكات التي لا تحوي وصلات متخطّية. الحوض الناعم حول النهاية الصغرى يمتدّ إلى مستوى معيّن من الخسارة، وفوق ذلك المستوى يتحوّل السطح إلى فوضى. إذا بدأت الأوزان في المنطقة الفوضوية، فإنّ مُتّجهات الميل لا تدلّ على شيء — تتحطّم ولا تقود إلى أيّ اتجاه مفيد. التهيئة الجيّدة تضعك داخل الحوض الناعم منذ البداية.

الورقة درست أيضاً أثر عرض الشبكة باستخدام Wide-ResNets — وهي شبكات تحوي عدداً أكبر من المرشّحات في كل طبقة التفافية. النتيجة واضحة: كلّما ضاعفنا عدد المرشّحات (بمعامل k = 2 أو 4 أو 8)، أصبح سطح الخسارة أكثر تسطُّحاً، واتّسع الحوض حول النهاية الصغرى، وانخفض خطأ الاختبار.

واللافت أنّ الشبكات الأوسع تُظهر فوضى أقل بكثير حتى بدون وصلات متخطّية. لكنّ الجمع بين العرض والوصلات المتخطّية يُعطي أفضل النتائج — شبكة Wide-ResNet-56 بثمانية أضعاف المرشّحات تملك خطوطاً كنتورية مسطّحة ودائرية تبدو شبه محدّبة، وتحقّق أدنى خطأ اختبار (3.93%).

السؤال الطبيعي: هل المناطق التي تبدو ناعمة في الرسوم ثنائية البُعد محدّبة فعلاً، أم أنّ الإسقاط أخفى تشوّهات لم نرها؟ للتحقّق، حسب المؤلفون أصغر وأكبر قيمة ذاتية لمصفوفة هِسيان عند كل نقطة على السطح، ورسموا نسبتهما |λ_min / λ_max|.

في النقاط المحدّبة فعلاً لا توجد قيم ذاتية سالبة، فتكون النسبة صفراً (أزرق في الخريطة الحرارية). المناطق التي يُهيمن فيها الانحناء السالب تظهر بالأصفر. النتائج أكّدت ما توقّعناه: المناطق الناعمة بصرياً تملك فعلاً انحناءً سالباً ضئيلاً جداً (أقل من 1% من الانحناء الموجب في DenseNet)، بينما المناطق الفوضوية تحوي قيماً ذاتية سالبة كبيرة.

آخر نتيجة لافتة في الورقة تتعلّق بمسار التدريب نفسه. لو سجّلنا الأوزان عند كل حقبة ثم أسقطنا المسار على اتجاهين عشوائيين، لن نرى شيئاً يُذكر — المسار سيبدو كاهتزاز عشوائي لا يتقدّم. السبب أنّ متّجهين عشوائيين في فضاء بملايين الأبعاد يكونان شبه متعامدين مع الاتجاهات القليلة التي يتحرّك عبرها المُحسِّن فعلاً.

الحل: نستخدم تحليل المكوّنات الرئيسية على فروق الأوزان (θ₀ − θₙ, θ₁ − θₙ, …) لنجد الاتجاهات التي تحوي أكبر قدر من التباين الحقيقي في المسار. باتجاهين فقط، يُمكن التقاط 40–90% من تباين المسار الكامل. وهذا يكشف أنّ مسار المُحسِّن منخفض الأبعاد بشكل مدهش — وهو ما يتوافق مع الأحواض الواسعة وشبه المحدّبة التي رأيناها في رسوم السطح.

نتائج الورقة تتكامل في صورة واضحة: الشبكات التي تملك سطح خسارة ناعماً ومسطّحاً — بفضل الوصلات المتخطّية والعرض الكافي والتدريب المناسب — تستقرّ في أحواض واسعة تتحمّل الإزاحات وتُعمّم جيداً. في المقابل، الشبكات ذات السطوح الفوضوية تعلق في نهايات صغرى حادة ومعزولة، أو تفشل في التقارب من الأساس. تسوية المرشّحات هي ما يجعل هذه المقارنات صادقة وذات معنى.

والأهم من ذلك أنّ الورقة تربط تصميم البنية المعمارية بهندسة الأمثَلة ربطاً مباشراً: الوصلات المتخطّية وعرض الشبكة ليسا مجرد حيل تجريبية نجحت بالصدفة — بل يُعيدان رسم التضاريس التي يسير فيها المُحسِّن من الأساس.

قبل هذه الورقة، كان تصميم الشبكات العصبية يعتمد على التجربة والخطأ والحدس. بعدها، أصبح لدى الممارسين لغة بصرية واضحة: السطح الناعم يعني شبكة قابلة للتدريب والتعميم. صور هذه الورقة تُستخدم اليوم في الكتب والمدوّنات والمحاضرات حول العالم — وهي من الحالات النادرة التي تحوّلت فيها رسوم ورقة واحدة إلى النموذج الذهني المشترك لمجال بأكمله.