الغوص في عالم المُقوِّمات: كيف تجاوزت الشبكات أداء البشر في تصنيف ImageNet

حين نُكدِّس عشرات الطبقات، تمرّ الإشارة عبر مصفوفة أوزان عند كل طبقة. إذا كان التباين يكبر ولو قليلاً في كل مرة، ينمو الناتج أُسِّيًّا حتى ينفجر. وإذا كان يتقلّص، يتلاشى كل شيء — الإشارة والتدرُّجات معها — حتى يصل إلى صفر فعلي.

في عام 2010 عالج Glorot وBengio هذه المشكلة بتهيئة Xavier: تُضبط تباين الأوزان على $1/n$، حيث $n$ عدد مدخلات العصبون. لكن الاشتقاق بُني على افتراض جوهري: أن دالة التنشيط خطية حول الصفر، بمعنى أنها تمرّر القيم الموجبة والسالبة بالتساوي. وهذا كان صحيحاً فعلاً مع دالتَي tanh وsigmoid اللتين كانتا السائدتين آنذاك.

المشكلة أن ReLU تكسر هذا الافتراض كلياً: $\text{ReLU}(x) = \max(0, x)$ تُصفِّر كل القيم السالبة. عملياً، هذا يعني أنها تُنصِّف التباين عند كل طبقة. وعبر $L$ طبقة يتقلّص التباين بعامل $(1/2)^L$. في شبكة من 30 طبقة، يصبح العامل بحدود واحد على مليار. الشبكة قائمة رياضياً، لكنها ميتة عملياً — كل التدرُّجات تُقرَّب إلى صفر في حساب الفاصلة العائمة.

قاعدة ReLU القياسية واضحة: ما هو موجب يمرّ كما هو، وما هو سالب يتحوّل إلى صفر. لكن السؤال: هل صفر هو فعلاً الخيار الأفضل للجانب السالب؟ حاولت Leaky ReLU حل ذلك بتمرير الإشارات السالبة مع ميل صغير ثابت (0.01)، لكن هذه القيمة مختارة يدوياً دون مبرر نظري.

PReLU تجعل ميل الجانب السالب معاملاً يتعلّمه النموذج بنفسه — $a_i$ لكل قناة $i$:

لتبسيط الصورة: ReLU باب باتجاه واحد — الإشارات الموجبة تعبر، والسالبة تُحجب تماماً. Leaky ReLU باب يترك شقّاً صغيراً ثابتاً تتسرّب منه الإشارات السالبة. أما PReLU فباب يعدّل فتحته بنفسه خلال التدريب.

من الناحية الحسابية، تدرّج تحديث $a_i$ هو ببساطة مجموع قيم $y_i$ في المواضع التي تحقق $y_i \le 0$، فلا يُضيف تكلفة تُذكر. بل إن النسخة المشتركة التي تستخدم معاملاً واحداً $a$ لجميع قنوات الطبقة — معامل واحد إضافي فقط لكل طبقة — تُحسِّن الدقة بشكل ملموس.

من أطرف ما كشفته الورقة: الطبقات الأولى تتعلّم قيم $a$ كبيرة (نحو 0.6)، أي أنها تحتفظ بقدر كبير من الإشارة السالبة وتعمل كمُجمِّعات للمعلومات. أما الطبقات الأعمق فتتعلّم قيم $a$ صغيرة تقترب من سلوك ReLU القياسي — تصبح أكثر انتقائية وتمييزاً.

الفكرة الجوهرية وراء أي تهيئة بسيطة: نريد أن يبقى تباين الإشارة ثابتاً تقريباً وهي تنتقل من طبقة إلى أخرى، فلا تنفجر ولا تتلاشى.

لننظر إلى طبقة واحدة. الناتج قبل التنشيط هو $y_l = W_l x_l + b_l$، حيث $x_l$ متّجه من $n_l = k^2 c$ مُدخلاً ($k$ حجم المرشّح، و$c$ عدد قنوات الدخل). إذا كانت الأوزان مستقلة ومتوسّطها صفر نحصل على:

$\text{Var}[y_l] = n_l \, \text{Var}[w_l] \, E[x_l^2]$

تهيئة Xavier افترضت أن $E[x_l^2] = \text{Var}[x_l]$، وهذا لا يصحّ إلا إذا كان متوسط $x_l$ يساوي صفراً. لكن بعد ReLU يصبح $x_l = \max(0, y_{l-1})$، وهذه قيمة لا تكون سالبة أبداً، فمتوسطها بالتأكيد ليس صفراً. وبتحليل دقيق: إذا كان المُدخل متماثلاً حول الصفر قبل ReLU، فإن نصف القيم بالضبط تتحوّل إلى أصفار:

$E[x_l^2] = \tfrac{1}{2}\,\text{Var}[y_{l-1}]$

وبالتعويض في المعادلة الأصلية:

لكي يظل التباين ثابتاً من طبقة إلى أخرى، نحتاج إلى:

$\tfrac{1}{2}\, n_l\, \text{Var}[w_l] = 1 \quad \Longrightarrow \quad \text{Var}[w_l] = \frac{2}{n_l}$

بمعنى أن الأوزان تُسحب من توزيع غاوسي متوسّطه صفر وانحرافه المعياري $\sigma = \sqrt{2 / n_l}$. قارن هذا بتهيئة Xavier حيث $\sigma = \sqrt{1 / n_l}$ — الفرق كلّه عامل 2 في البسط، لكنه هو الذي يصنع الفارق في الشبكات العميقة.

المنطق نفسه ينطبق على الانتشار العكسي: الشرط المقابل هو $\frac{1}{2}\hat{n}_l \text{Var}[w_l] = 1$ مع $\hat{n}_l = k^2 d_l$ (باستخدام قنوات الخرج بدل قنوات الدخل). يكفي تحقيق أحد الشرطين — فإذا تحقّق أحدهما تحقّق الآخر تقريباً بالتبعية.

حين يكون التنشيط PReLU بميل ابتدائي $a$، لم يعد الجانب السالب يُصفَّر تماماً بل يُضرب في $a$. لذلك يتغيّر عامل التباين من $\frac{1}{2}$ إلى $\frac{1}{2}(1 + a^2)$:

الورقة تُثبت ذلك بمثال عملي صريح. لنأخذ نموذج VGG-B: 10 طبقات التفافية بـمرشّحات 3×3. الانحرافات المعيارية الصحيحة حسب تهيئة He هي 0.059 و0.042 و0.029 و0.021 للطبقات ذات 64 و128 و256 و512 مرشّحاً على الترتيب. في المقابل، استخدم VGG انحرافاً معيارياً ثابتاً 0.01 لجميع الطبقات دون تمييز. التدرّج الفعلي الذي ينتقل من الطبقة العاشرة إلى الثانية يبلغ تقريباً $1/(1.7 \times 10^4)$ من القيمة المفترضة — أي صفر عملياً.

الورقة درّبت شبكة من 30 طبقة بالتهيئتين معاً للمقارنة. تهيئة He تقاربت بنجاح. أما Xavier فقد تجمّدت كلياً: نسبة الخطأ لم تتحرّك، ورصد التدرُّجات أكّد أنها جميعاً تتلاشى. ليست المسألة صبراً أو ضبطاً — الإشارة ميتة رياضياً.

درّب الباحثون شبكة من 14 طبقة، ثم فحصوا معاملات $a_i$ التي تعلّمتها كل طبقة. النتائج كشفت نمطين واضحين:

الطبقة الالتفافية الأولى — وهي المسؤولة عن استخلاص سمات بصرية أوّلية كالحواف والأنسجة — تعلّمت ميولاً كبيرة (نحو 0.6). يعني ذلك أنها تحتفظ بجزء كبير من الإشارة السالبة. هذه الطبقات تتصرّف كمُجمِّعات للمعلومات: تريد أن تحفظ أكبر قدر من المدخلات الخام، بما فيها الأنماط التي تكون استجابات مرشّحاتها سالبة.

الطبقات الأعمق في المقابل تعلّمت ميولاً أصغر تدريجياً، تقترب من سلوك ReLU القياسي. هذه الطبقات أكثر تمييزاً وانتقائية — تعرف أيّ الإشارات تهمّها فتكبت الباقي. الشبكة تنظّم نفسها ذاتياً وفق مبدأ: احفظ أولاً، ثم انتقِ لاحقاً.

هذا التدرّج من الحفظ إلى الانتقاء يشبه الطريقة التي نعالج بها المشاهد البصرية: نجمع كل التفاصيل ثم نركّز على ما يهم.

بدمج تنشيطات PReLU مع تهيئة He، درّب الباحثون سلسلة نماذج متصاعدة العرض والعمق. أفضل نموذج فردي حقّق نسبة خطأ 5.71% في أعلى 5 تنبّؤات — وهذا وحده يتفوّق على كل تجميعات النماذج المتعددة التي سبقته. وحين جُمعت ستة نماذج معاً، انخفضت النسبة إلى 4.94%، متجاوزةً الأداء البشري المُسجَّل (5.1%) على نفس مجموعة البيانات.

كانت هذه المرة الأولى التي يتفوّق فيها نموذج حاسوبي على الإنسان في تحدٍّ واسع النطاق للتعرّف البصري. والمهم أن المستوى البشري المرجعي لم يكن تخميناً عابراً، بل حدّده مُصنِّف بشري مُدرَّب يعمل عبر واجهة متخصصة تعرض صوراً مرجعية لكل فئة. النتيجة أثبتت شيئاً جوهرياً: حين تكون الأساسيات صحيحة — تهيئة أوزان سليمة ودوال تنشيط مناسبة — يمكن للعمق والعرض أن يدفعا الدقة إلى مستويات غير مسبوقة.

من الملاحظات الطريفة أن أخطاء البشر تركّزت في التمييز الدقيق (مثل 120 سلالة كلاب) وعدم الإلمام ببعض الفئات، بينما أخطاء الآلة جاءت من مواقف تحتاج فهم السياق أو مشاهد تحتوي كائنات متعدّدة.