لماذا يصعب تدريب الشبكات العصبية العميقة ذات التغذية الأمامية؟

الشبكة العصبية ذات التغذية الأمامية بعمق $L$ طبقة تحسب مخرجاتها بتمرير المدخل عبر سلسلة من التحويلات الخطية متبوعةً بدوال لاخطية. وعند الانتشار العكسي، تسلك التدرّجات المسار نفسه لكن بالاتجاه المعاكس. هنا يمكن أن يحدث أحد أمرين:

• تلاشي التنشيطات. حين تكون الأوزان صغيرة جداً، تُقلّص كل طبقة الإشارة قليلاً. بحلول الطبقة الخامسة تصبح التنشيطات شبه معدومة، وتنحصر دالة التنشيط في منطقتها الخطية، فلا تتعلّم الشبكة شيئاً ذا قيمة.

• انفجار التنشيطات أو إشباعها. حين تكون الأوزان كبيرة جداً، تصل التنشيطات إلى الأطراف المسطّحة لدوال السينية أو الظل الزائدي حيث تقترب المشتقة من الصفر. النتيجة أنّ التدرّجات تتلاشى رغم أنّ التنشيطات نفسها كبيرة — وهذا هو الفخ الذي تسمّيه الورقة الإشباع.

التهيئة التي كانت شائعة وقتها هي $W_{ij} \sim U[-1/\sqrt{n_{in}},\; 1/\sqrt{n_{in}}]$، وهي تأخذ بالحسبان عدد المدخلات فقط. ما أثبته غلوروت وبنجيو أنّ هذا الأسلوب غير متوازن في جوهره: هو يهتم بالتمريرة الأمامية ويتجاهل تماماً ما يحدث أثناء الانتشار العكسي.

درّب غلوروت وبنجيو شبكات بعمق يتراوح بين 1 و5 طبقات مخفية (1000 خلية في كل طبقة) على مجموعة بيانات Shapeset-3×2، وراقبوا التنشيطات طبقةً بطبقة. مع دالة الظل الزائدي والتهيئة المعتادة، دفعت الطبقة الأولى التنشيطات بسرعة باتجاه ±1 — أي منطقة الإشباع التي تقترب فيها المشتقة من الصفر. ثم لحقتها الطبقات الأعمق: بحلول الحقبة المئة كانت الطبقة العليا مُشبَعة بالكامل تقريباً، بينما الطبقة السفلى لم تكد تبدأ في التعلّم.

الفكرة تشبه طريقاً سريعاً عليه نقاط تفتيش متتالية. نقطة التفتيش الأولى (الطبقة 1) ترفع الحاجز عالياً جداً فلا تمرّ إلّا قطرات قليلة من حركة المرور (التدرّجات). كل نقطة تفتيش بعدها تُضاعف الاختناق. وحين تصل الإشارة إلى أسفل الشبكة — من منظور التدرّجات — لا يتبقّى ما يكفي لتوجيه أي تعلّم.

دالة softsign $f(x) = x/(1+|x|)$ تتجنّب هذا الإشباع الحاد لأنّ أذيالها تتلاشى بمعدّل كثيري الحدود لا أُسّي. أظهرت الورقة أنّ شبكات softsign تتدرّب بثبات أعلى، وإن كان المجتمع البحثي اعتمد لاحقاً ReLU — التي تُزيل الإشباع كلياً على جانبها الموجب.

لنأخذ طبقة واحدة تحسب $s^i = W^i z^{i-1} + b^i$ حيث $z^{i} = f(s^i)$. نفترض أنّ دالة التنشيط متناظرة وأنّ مشتقتها عند الصفر تساوي 1 (وهذا ينطبق على الظل الزائدي وsoftsign قرب الصفر)، وأنّ الأوزان متوسطها صفر ومستقلة عن المدخل، والمدخل نفسه متوسطه صفر. تحت هذه الافتراضات، يتحدّد تباين مخرجات الطبقة $i$ بحاصل ضرب تباينات جميع الطبقات التي سبقتها:

التحليل نفسه ينطبق بالاتجاه المعاكس. خلال الانتشار العكسي، يكون تباين التدرّج عبر الطبقات:

أبرز ما قدّمته الورقة — بعد الصيغة الرياضية — هو مجموعة من الرسوم التشخيصية. رسم غلوروت وبنجيو المدرّجات التكرارية للتنشيطات والانحرافات المعيارية لـالتدرّجات طبقةً بطبقة أثناء التدريب، وكأنّهما أخذا صورة أشعّة سينية لما يجري داخل الشبكة العميقة:

مع التهيئة المعتادة + الظل الزائدي: تُشبَع الطبقة الأولى قبل غيرها — التنشيطات تتكدّس عند ±1 — ثم تتساقط الطبقات 2 و3 و4 كأحجار الدومينو. التدرّجات في الطبقات السفلى تنهار إلى ما يقارب الصفر، فتتوقّف تلك الطبقات عملياً عن التعلّم. الطبقة العليا وحدها هي التي تتعلّم، وبذلك تتصرّف شبكة من خمس طبقات وكأنها شبكة بطبقة واحدة.

مع تهيئة Xavier + الظل الزائدي: تظلّ التنشيطات متمركزة قرب الصفر في النطاق الخطي لدالة الظل الزائدي عبر جميع الطبقات. الانحرافات المعيارية للتدرّجات تبقى متقاربة بين الطبقات طوال فترة التدريب — الإشارة تصل إلى كل طبقة بالتساوي.

مع softsign: حتى مع التهيئة المعتادة، تمنع الأذيال كثيرية الحدود الإشباعَ الحاد. التنشيطات تنزاح نحو الأطراف لكنها لا تنغلق هناك. التدرّجات في حال أفضل، وإن لم تصل إلى انتظام تهيئة Xavier مع الظل الزائدي.

قارنت الورقة بين ثلاث دوال تنشيط وسلوك كلٍّ منها في الشبكات العميقة:

الدالة السينية $\sigma(x) = 1/(1+e^{-x})$: مخرجاتها تقع في $(0,1)$ بمتوسط يقارب 0.5 وليس صفراً. هذا الانزياح عن الصفر يجعل كل طبقة تدفع التنشيطات بشكل منهجي في اتجاه واحد، ويتراكم هذا الأثر مع كل طبقة إضافية. أظهر غلوروت وبنجيو أنّ شبكات الدالة السينية عانت من أسوأ أنماط الإشباع.

الظل الزائدي $\tanh(x)$: مخرجاته في $(-1, 1)$ بمتوسط صفر، وهذا يجعله أفضل توسيطاً. لكنّ مشتقته تتلاشى أُسِّيّاً عند الأطراف: $\tanh'(x) \to 0$ حين $|x| \to \infty$. مع التهيئة المعتادة، تدخل الطبقة الأولى في الإشباع خلال الحقبات القليلة الأولى من التدريب.

softsign $x/(1+|x|)$: مخرجاتها في $(-1, 1)$ بمتوسط صفر مثل الظل الزائدي، لكنّ الفرق أنّ أذيالها تتلاشى بمعدّل $1/x^2$ بدلاً من التلاشي الأُسّي. هذا يعني أنّ المشتقة تنكمش تدريجياً لا بشكل مفاجئ — تراجع أكثر نعومة يمنع الشبكة من الوقوع في فخ الإشباع الحاد.