الشبكات العصبية ومعضلة الانحياز والتباين

حين تُدرَّب الشبكة العصبية الأمامية بـالانتشار العكسي، فإنها في جوهرها تحلّ مسألة انحدار: لديك أزواج بيانات $(x_i, y_i)$ وتريد دالة $f(x)$ تُقلّل المسافة المربّعة عن العلاقة الحقيقية $E[y|x]$. الشبكة هنا مُقدِّر لامُعلمي — لا تفترض أن الإجابة خط مستقيم أو منحنى تربيعي، بل لديها مرونة كافية لتقريب أي دالة مستمرة.

هذه المرونة سلاح ذو حدّين. شبكة فيها وحدات خفية كثيرة تستطيع حفظ أي مجموعة تدريب عن ظهر قلب، لكن الحفظ ليس تعلماً. التعميم الحقيقي يعني أن الشبكة تبقى دقيقة حين تواجه مدخلات جديدة لم ترها قط.

السؤال الذي طرحه جيمان وبينينستوك ودورسات كان محدداً: إذا ثبّتنا كمية بيانات التدريب، ما الذي يُحدّد هل ستُعمِّم الشبكة أم ستحفظ؟ إجابتهم جاءت عبر تفكيك خطأ التنبؤ إلى قوتين متناقضتين.

قبل أن ندخل في الرياضيات، لنبنِ الحَدْس. تخيّل أنك درَّبت 100 نسخة من النموذج نفسه، كل واحدة على عينة عشوائية مختلفة مأخوذة من المجتمع ذاته. الآن خذ مدخلاً معيّناً $x$ واسأل:

• الانحياز يخصّ النموذج المتوسط: هل متوسط التنبؤات المئة يقع على القيمة الحقيقية أم يُخطئها دائماً؟ إذا كانت بنية النموذج بسيطة أكثر مما ينبغي — كمن يرسم خطاً مستقيماً لتمثيل منحنى متعرّج — فالمتوسط سيظل خاطئاً مهما أضفت بيانات.

• التباين يخصّ التشتت: هل النماذج المئة تتفق على إجابة متقاربة، أم كل نموذج يذهب في اتجاه مختلف؟ إذا كانت بنية النموذج مرنة أكثر مما ينبغي، فكل عينة تُنتج دالة مختلفة تماماً — حتى لو صادف أن متوسطها قريب من الحقيقة.

الخطأ الكلي هو مجموع هذين المكوّنين، ولا سبيل لتقليلهما معاً ببيانات محدودة — هذه هي المعضلة.

فكّر في المعادلة على أنها ميزانية ثابتة موزّعة بين حسابين. حين تُبسّط النموذج تُوفّر في التباين لكنك تدفع من رصيد الانحياز. وحين تزيد التعقيد تخفض الانحياز لكنك ترفع فاتورة التباين. أما الضجيج غير القابل للاختزال فهو الأرضية التي لا يستطيع حتى النموذج المثالي النزول تحتها — لأن العشوائية لا يتنبأ بها أحد.

لتوضيح الموازنة بين الانحياز والتباين عملياً، تستخدم الورقة ثلاث عائلات من المُقدِّرات، في كل واحدة «مقبض» يتحكم بالتعقيد:

• أقرب k جيران (k-NN): $k$ صغير يعني نموذجاً مرناً (انحياز منخفض، تباين عالٍ)، و$k$ كبير يعني نموذجاً أنعم وأبسط (انحياز عالٍ، تباين منخفض). تخيّل $k$ وكأنه عدد «المستشارين» الذين يسألهم النموذج قبل أن يُقرّر.

• نوافذ بارزن (الانحدار بالنواة): نطاق ضيق $\sigma$ يُنتج ملاءمة حادة (انحياز منخفض، تباين عالٍ)، ونطاق واسع يُنتج تنعيماً أكبر (انحياز عالٍ، تباين منخفض). الأمر أشبه بعدسة مكبّرة — الضيقة ترى التفاصيل لكنها تُضخّم الضجيج، والواسعة تُعطيك صورة ناعمة لكن ضبابية.

• الشبكات العصبية: وحدات خفية قليلة تعني نموذجاً جامداً (انحياز عالٍ)، وكثيرة تعني نموذجاً مرناً (تباين عالٍ). كل وحدة خفية تمنح الدالة «انعطافة» إضافية يمكنها رسمها.

في الحالات الثلاث، تقيس الورقة الانحياز والتباين بتدريب 100 نموذج على عينات مستقلة ثم أخذ المتوسط. النتيجة واحدة في كل مرة: منحنى على شكل U — الخطأ الكلي ينخفض أولاً (لأن الانحياز يتقلّص) ثم يرتفع (لأن التباين ينفجر).

مع أقرب الجيران ونوافذ بارزن، المقبض واضح: $k$ أو عرض النطاق يتحكم مباشرة في التنعيم. أما الشبكات العصبية فالصورة أكثر تعقيداً، لأن الورقة ترصد مصدرين مستقلين لـالتباين:

1. تعقيد البنية — كلما زاد عدد الوحدات في الطبقة الخفية اتسعت فئة الدوال التي يستطيع النموذج تمثيلها، فينخفض الانحياز ويرتفع التباين — وهذا السلوك متوقع.

2. فرط الملاءمة أثناء التدريب — حتى لو ثبّتنا عدد الوحدات الخفية، فإن تشغيل الانتشار العكسي لعدد أكبر من التكرارات يُتيح للشبكة حفظ مزيد من الضجيج. في تجربة الورقة، شبكة بأربع وحدات خفية مُدرَّبة على أرقام بخط اليد تبلغ أفضل أداء على الاختبار بعد نحو 100 تكرار فقط، ثم يبدأ الأداء بالتدهور كلما استمر التدريب. الأمر يُشبه إعادة بناء صور التصوير المقطعي بالانبعاث: التكرار الزائد يُدمّر الجودة بدل أن يُحسّنها.

الاستنتاج المهم: عدد تكرارات التدريب يعمل عملياً كمُعامل تنعيم ثانٍ، وممارسة الإيقاف المبكر ليست سوى تنظيم ضمني للتحكم في التباين.

في ظلّ هذه المعضلة، يحتاج الممارس إلى آلية منهجية للوصول إلى مستوى التعقيد الأنسب. تستعرض الورقة ثلاث مقاربات:

التحقق المتقاطع: في كل جولة تحذف مثالاً تدريبياً واحداً وتُدرّب على البقية، ثم تختبر على المثال المحذوف. مستوى التعقيد الذي يُعطي أقل خطأ بهذا الأسلوب يُختار تلقائياً. الفكرة كاختبار تجريبي: تحلّ كل الأسئلة إلا واحداً ثم تُراجع إجابتك عليه، وهكذا بالتدوير.

التنظيم: يُضاف حدّ جزائي إلى دالة الخسارة يكبح الحلول المفرطة التعقيد — في الشرائح المنحنية يكون قيداً على النعومة، وفي الشبكات العصبية يكون اضمحلال الأوزان الذي يُعاقب الأوزان الكبيرة. النتيجة أنك تقبل مقداراً محسوباً من الانحياز مقابل خفض ملموس في التباين.

الأساليب البايزية: تضع توزيعاً مسبقاً على الدوال الممكنة يعكس ما تتوقعه من نعومة أو بنية، ثم يُوازن التوزيع اللاحق بين تلك التوقعات وما تقوله البيانات فعلاً.

الأساليب الثلاثة في جوهرها حقنٌ متعمّد لـالانحياز بهدف كبح التباين — وهذه الخطوة الأولى نحو خلاصة الورقة الأعمق.

أجرأ ما في الورقة ليس التحليل الرياضي نفسه، بل الخلاصة المبنية عليه. يُجادل المؤلفون بأن المهام الصعبة فعلاً — الرؤية والكلام واللغة — لا يمكن التغلب فيها على المعضلة بمجرد تعلّم أذكى على بيانات خام. فضاء المدخلات شاسع الأبعاد، وبيانات التدريب لن تملأه بكثافة كافية مهما فعلت، فتظل الطرق اللامُعلمية تمارس الاستقراء لا الاستيفاء.

المخرج: ادمج الانحياز الاستقرائي في بنية النموذج مباشرة. بدلاً من انتظار أن يكتشف النموذج التمثيل وحده، ضَمِّن فيه بنية المسألة التي تجعل الحل ممكناً:

• الالتفافات تدمج المعرفة المكانية وثبات الإزاحة (مسار الشبكات الالتفافية).
• الانتباه يُتيح لكل موضع أن يطّلع على كل المواضع الأخرى (مسار المحوِّلات).
• مقياس مسافة ثابت تجاه التشوهات الصغيرة يمنع تغيّرات الخط اليدوي الطفيفة من خداع المُصنِّف (تجربة الورقة نفسها بمسافة مطابقة الرسوم البيانية).

تجارب الأرقام المكتوبة بخط اليد تُثبت هذا بوضوح: مُصنِّف أقرب الجيران حين يستخدم مسافة مطابقة الرسوم البيانية — التي تحمل ثبات التشوهات مسبقاً — يتفوق بفارق كبير على المُصنِّف نفسه بمسافة هامِنغ الخام، بل يتفوق حتى على شبكات عصبية اضطرت لتعلّم هذا الثبات من الصفر.

تُفرّق الورقة تفريقاً حاسماً بين الاستيفاء — التنبؤ ضمن نطاق ما رأيته في التدريب — والاستقراء — التنبؤ خارجه. الطرق اللامُعلمية تُجيد الاستيفاء لأن افتراضات النعومة تعمل جيداً بين النقاط المرصودة، لكنها لا يُعتمد عليها في الاستقراء — ليس لديك أساس لتخمين ما يجري بعيداً عن البيانات.

في مسألة منخفضة الأبعاد — كـ 20 متغيراً يصف طالب قرض — يمكنك جمع بيانات كافية لتغطية فضاء المدخلات بكثافة معقولة. لكن في مهام الإدراك عالية الأبعاد (صورة 16×16 = 256 بُعداً)، تضرب لعنة الأبعاد بقوة: حجم الفضاء يتضخّم أُسّياً مع كل بُعد جديد، ولا مجموعة تدريب واقعية قادرة على ملئه. كل مدخل اختباري يبقى «بعيداً» عن أي مدخل تدريبي، فيجد النموذج نفسه يستقرئ طوال الوقت.

هذا بالضبط ما يُفسّر لماذا نجح مُصنِّف التعثر في سداد القروض بينما ظل التعرف العام على الخطوط اليدوية مسألة عصيّة — ولماذا جاءت خلاصة الورقة حول الانحياز الاستقرائي المُصمَّم رؤية استباقية ثاقبة.

تربط الورقة أيضاً الشبكات العصبية بنظرية فابنيك- تشيرفونينكيس (بُعد VC) في التعلم الإحصائي. الفكرة أن المُقدِّر اللامُعلمي يُعدّ متسقاً إذا تقارب نحو الدالة الحقيقية حين تتوفر بيانات لا نهائية. معظم المُقدِّرات — أقرب الجيران والانحدار بالنواة والشبكات العصبية — متسقة فعلاً، بشرط أن يكبر تعقيدها مع حجم البيانات (وحدات خفية أكثر كلما ازداد $N$، لكن ببطء يكفي لإبقاء التباين تحت السيطرة).

ما يقيسه بُعد VC هو «سعة» فئة الدوال — بمعنى تقريبي: أكبر مجموعة نقاط يمكن لهذه الفئة تصنيفها بكل الترتيبات الممكنة. فئة ببُعد VC مقداره $d$ تحتاج نحو $O(d/\varepsilon)$ عينة للوصول إلى خطأ $\varepsilon$. المشكلة أن شبكة فيها $W$ وزناً قد يبلغ بُعد VC فيها $O(W^2)$ أو أكثر — فحتى شبكة صغيرة نسبياً تتطلب مجموعات تدريب ضخمة ليكون لضمان الاتساق أثر عملي.

خلاصة الورقة هنا صريحة: الاتساق حقيقة رياضية لكنه وهم عملي. أن تعرف أن الطريقة ستنجح ببيانات لا نهائية لا يُفيدك حين تسأل هل ستنجح ببياناتك أنت. المعضلة الحقيقية تعيش في عالم العينات المحدودة.

لعقدين كاملين، ظل إطار الموازنة بين الانحياز والتباين هو التفسير المرجعي لـالتعميم في كل كتاب دراسي تقريباً. ثم جاءت مفاجأة حوالي 2019: اكتشف الباحثون أن الشبكات العصبية الضخمة — التي تتجاوز «النقطة المثلى» بمراحل — تعود لتتحسّن مجدداً، فيما سُمّي الانحدار المزدوج. منحنى U لم يتوقف عند القاع؛ ارتفع كما تتوقع النظرية الكلاسيكية، ثم انحدر مرة أخرى.

هل هذا يعني أن الورقة كانت خاطئة؟ ليس تماماً. تفكيك الانحياز والتباين لا يزال صحيحاً رياضياً. الذي تغيّر هو فهمنا لسلوك كل مركّبة حين تكبر سعة النموذج. في نظام المُعاملات المفرطة، يتولّى التنظيم الضمني — القادم من الانحدار التدرّجي العشوائي وتسوية الدُّفعة والإسقاط العشوائي — كبح التباين ومنعه من الانفجار حتى مع نمو فئة الدوال إلى حجم هائل. خلاصة جيمان وزملائه — أن الانحياز المُصمَّم ضروري — لا تزال صامدة؛ غاية الأمر أن الشبكات الحديثة تُدمج انحيازات أعقد بكثير مما تخيّله أحد عام 1992.

تبقى هذه الورقة نقطة الانطلاق لأي نقاش جادّ حول التعميم واختيار النموذج وذلك التوتر الدائم بين المرونة والاستقرار الذي يقع في صميم التعلم.