كيف نوفّق بين نجاح النماذج الكبيرة والفهم الكلاسيكي لمقايضة الانحياز والتباين

كل كتاب في التعلّم الآلي يبدأ من النقطة نفسها. معك بيانات تدريب، وتريد أن تجد مُتنبِّئاً $h$ من فئة دوال $\mathcal{H}$ يعمل جيداً على بيانات جديدة لم يرها من قبل. الأسلوب المعتاد هو تصغير المخاطرة التجريبية (ERM): اختر الدالة التي تُعطي أقل خسارة على بيانات التدريب.

القاعدة الكلاسيكية واضحة: إن كانت $\mathcal{H}$ صغيرة جداً، فلن تجد فيها دالة قادرة على التقاط النمط الحقيقي — وهذا ما نسمّيه نقص التخصيص. وإن كانت $\mathcal{H}$ كبيرة جداً، فالدالة المختارة ستبدأ بحفظ الضجيج والتفاصيل العشوائية بدلاً من الأنماط الحقيقية — وهذا فرط التخصيص. الخلاصة التي يُدرّسها كل كتاب: ابحث عن نقطة التوازن بين الطرفين. هذا التوازن يرسم المنحنى الشهير على شكل حرف U: مع زيادة سعة النموذج يتحسّن الأداء أولاً ثم يبدأ بالتدهور.

هذه الفكرة حكمت عقوداً من الممارسة. أدوات مثل التنظيم والتوقف المبكر والتحقق المتقاطع كلها صُمّمت للعثور على تلك النقطة المثلى. وكانت القاعدة غير المكتوبة واضحة: أي نموذج يصل لخطأ تدريب صفري هو نموذج حفظ البيانات ولن يُعمِّم جيداً.

ثم ظهر التعلّم العميق وقلب هذه الصورة. اكتشف الممارسون أن الطريقة الناجحة ليست البحث عن نقطة التوازن — بل بناء شبكات عصبية كبيرة لدرجة أنها تستطيع حفظ كل مثال تدريبي بخسارة صفرية. هذا ما نسمّيه الاستيفاء: النموذج يمرّ بكل نقطة تدريب بالضبط، كأنك رسمت منحنى يلمس كل نقطة في مخطط التشتّت.

حسب النظرية الكلاسيكية، هذا يُفترض أن يكون كارثة. النموذج حفظ البيانات بكل ضجيجها وتفاصيلها العشوائية — فكيف سينجح على بيانات جديدة؟ لكن النتائج التجريبية أثبتت العكس: هذه النماذج المُستوفِية حققت دقة اختبار تتفوّق على أحدث ما في المجال. وفي تجربة لافتة، أثبت زانغ وآخرون (2017) أن الشبكات العصبية القادرة على حفظ تصنيفات عشوائية تماماً — أي بيانات بلا أي نمط حقيقي — تظل تُعمِّم جيداً حين تُدرَّب على بيانات حقيقية.

ترسّخت ممارسة جديدة في التعلّم العميق: اجعل الشبكة كبيرة بما يكفي لتصل لخسارة تدريب صفرية بسهولة. هذا يناقض القاعدة الكلاسيكية مباشرة، وكان واضحاً أن شيئاً جوهرياً ناقص في الصورة القديمة.

ما فعله بلكِن وزملاؤه هو تقديم إطار يحلّ هذا التناقض. الفكرة بسيطة وعميقة في آن: منحنى U الكلاسيكي ليس خاطئاً — لكنه يروي نصف القصة فقط. هو يصف ما يحدث حين يكون عدد معاملات النموذج أقل من عدد أمثلة التدريب. لكن ماذا يحدث إن واصلت تكبير النموذج وتجاوزت عتبة الاستيفاء؟ هنا تبرز ظاهرة ثانية لم تكن الصورة الكلاسيكية تتضمنها.

الصورة الكاملة هي ما أسماه المؤلفون منحنى الهبوط المزدوج، وفيه ثلاث مناطق واضحة. في المنطقة اليسرى نرى السلوك الكلاسيكي: يتحسّن الأداء مع زيادة السعة حتى النقطة المثلى، ثم يبدأ فرط التخصيص بالتزايد مع اقتراب السعة من $n$ (عدد أمثلة التدريب). عند عتبة الاستيفاء ($N \approx n$، حيث $N$ عدد المعاملات)، يصل النموذج إلى أسوأ حالاته: سعته تكفي بالكاد لمطابقة كل نقطة تدريب، فكل طاقته مستنفدة في حفظ البيانات دون أي مساحة متبقية لأي انحياز استقرائي مفيد. هنا يبلغ خطأ الاختبار ذروته الحادة.

لكن الأمر المفاجئ يحدث بعد هذه العتبة. في نظام فرط المعاملات ($N \gg n$)، خطأ الاختبار يعود للانخفاض. السبب منطقي حين تفكّر فيه: النموذج الآن يملك معاملات أكثر بكثير مما يحتاج لمطابقة البيانات، فهناك طرق كثيرة لتحقيق الاستيفاء — ومن بين كل هذه الطرق، تنتقي خوارزمية التعلّم الحلول الأنعم والأبسط تدريجياً. خيارات أكثر تعني حلولاً أفضل.

كل النماذج الواقعة يمين العتبة تُحقّق خطأ تدريب صفرياً — كلها تستوفي البيانات. فما الذي يجعل بعضها يُعمِّم جيداً والبعض الآخر لا؟ الجواب يكمن في الانحياز الاستقرائي — أي التفضيل الضمني الذي تحمله خوارزمية التعلّم لحلول معينة دون غيرها.

لنأخذ سمات فورييه العشوائية (RFF) مثالاً ملموساً. حين يكون هناك عدد لا نهائي من متجهات المعاملات $(a_1, \ldots, a_N)$ التي تُعطي خسارة تدريب صفرية، تختار الخوارزمية المتجه ذا أصغر معيار $\ell_2$. هذا هو مبدأ أوكام في صيغته الرياضية: من بين كل التفسيرات المتوافقة مع البيانات، اختر الأبسط.

النتيجة الرياضية الأساسية هنا: كلما زاد عدد السمات $N$ متجاوزاً $n$، اقتربت دالة الاستيفاء ذات المعيار الأصغر من الدالة المثالية في فضاء هلبرت بنواة إعادة الإنتاج (RKHS) الكامل. هذه الدالة المثالية هي أنعم مُستوفٍ ممكن — وكلما أضفت سمات أكثر، اقتربت منها أكثر.

هذه الآلية ليست خاصة بنوع واحد من النماذج، لكن شكل الانحياز الاستقرائي يختلف من عائلة لأخرى. في الشبكات العصبية المُدرَّبة بـالانحدار التدريجي العشوائي، هناك أدلة تجريبية ونظرية على أن عملية التحسين نفسها تميل ضمنياً نحو الحلول ذات المعيار المنخفض — وهذا ما يُعرف بالتنظيم الضمني. أما في الغابات العشوائية، فالآلية مختلفة: كل شجرة مُستوفِية بمفردها قد تكون خشنة ومتذبذبة، لكن حين تحسب متوسط عدد كبير منها تحصل على دالة استيفائية ناعمة — قوة التجميع هنا.

والنتيجة اللافتة: في آلات النواة، ثلاثة أساليب تبدو مختلفة تماماً — التصغير الصريح للمعيار، والانحدار التدريجي من تهيئة صفرية، ومتوسط مسارات العملية الغاوسية — تتقارب جميعها نحو الحلّ الاستيفائي نفسه. هذا التقارب يقول شيئاً مهماً: الهبوط المزدوج ليس خصوصية لخوارزمية بعينها، بل هو خاصية أساسية في العلاقة بين سعة النموذج والبيانات.

من أقوى ما في هذه الورقة أنها لم تكتفِ بإثبات الهبوط المزدوج على نوع واحد من النماذج، بل أظهرته عبر عائلات مختلفة جوهرياً في طريقة عملها.

سمات فورييه العشوائية (RFF): وهي شبكات عصبية بطبقتين تبقى أوزان الطبقة الأولى فيها ثابتة وعشوائية. على MNIST ($n=10{,}000$)، يرسم منحنى خطأ الاختبار شكل U واضحاً حين $N < n$، ثم تبرز ذروة حادة عند $N = n$، ثم يهبط الخطأ مجدداً حين $N > n$. حلّ آلة النواة بالمعيار الأصغر ($\hat{h}_{n,\infty}$) يتفوّق على كل نموذج بعدد سمات محدود. والنمط نفسه يتكرر على CIFAR-10 وSVHN وTIMIT و20-Newsgroups.

الشبكات العصبية كاملة الاتصال: شبكات بطبقة مخفية واحدة مُدرَّبة بـالانحدار التدريجي العشوائي على MNIST. عتبة الاستيفاء تظهر عند $N \approx n \cdot K$ (حيث $K$ عدد الفئات). رغم أن مشهد التحسين غير محدّب، يبقى الهبوط المزدوج واضحاً وإن كان أكثر تشويشاً مقارنة بـ RFF.

الغابات العشوائية وأشجار التعزيز: باستخدام عدد الأوراق في كل شجرة وعدد الأشجار كمقياس للسعة، تظهر الظاهرة نفسها. متوسط عدد كبير من الأشجار المُستوفِية يُعطي حلولاً أنعم بخطأ اختبار أقل من أي شجرة منفردة — وهذا تجسيد واضح لقوة التجميع.

يُقدّم المؤلفون مبرهنة تُعطي ضماناً رياضياً لنجاح الاستيفاء بالحدّ الأدنى لـالمعيار. الإعداد كالتالي: لنفترض أن البيانات مُولَّدة بدالة هدف $h^*$ تقع في فضاء RKHS الكامل $\mathcal{H}_\infty$، وأنه لا يوجد ضجيج. نقاط التدريب $x_1, \ldots, x_n$ مسحوبة بانتظام من مجال متراصّ $\Omega$. النتيجة: أي دالة استيفائية $h \in \mathcal{H}_\infty$ تُحقّق حدّ تقريب منتظماً:

سؤال مشروع: إذا كانت هذه الظاهرة بهذا الشمول، فلماذا لم يلاحظها أحد لعقود؟ المؤلفون يُحدّدون عدة أسباب عملية وثقافية تفسّر ذلك.

السبب الأول أن الإحصاء الكلاسيكي يعمل عادة بمجموعات سمات ثابتة وصغيرة، فلا توجد طريقة أصلاً لزيادة السعة متجاوزاً عتبة الاستيفاء. السبب الثاني أن التنظيم يُستخدم دائماً تقريباً في الإحصاء اللامعلمي، والتنظيم يمنع المطابقة الدقيقة فيُخفي الذروة كلياً. السبب الثالث أن سمات فورييه العشوائية صُمّمت كبديل حسابي رخيص لآلات النواة، لذلك استُخدمت عادة بعدد سمات $N \ll n$ — بعيداً جداً عن العتبة.

أما في الشبكات العصبية تحديداً، فعدم تحدّب مشهد التحسين يجعل المنحنى مشوّشاً ويصعب قراءته بوضوح. والتوقف المبكر — الذي يوقف التدريب حين يبدأ خطأ التحقق بالارتفاع — له أثر تنظيمي قوي يُخفي الذروة. فوق ذلك، الذروة تحدث في نطاق ضيق جداً من المعاملات يسهل تفويته حين تُجرّب بنى معمارية متباعدة.

إطار الهبوط المزدوج يُغيّر ثلاثة أشياء عملية بشكل مباشر.

أولاً، طريقة اختيار النموذج تتغيّر. القاعدة القديمة «ابحث عن النقطة المثلى» تنطبق فقط حين يكون عدد المعاملات أقل من عدد الأمثلة. أما في الممارسة الحديثة، فإن كنت قادراً على تجاوز عتبة الاستيفاء، فتكبير النموذج أكثر يُحسّن التعميم. هذا يُعطي مبرراً نظرياً مباشراً لما يفعله الممارسون فعلاً من استخدام شبكات ضخمة.

ثانياً، التحسين يصبح أسهل. النماذج ذات المعاملات الكثيرة تمتلك مشاهد تحسين مريحة: الانحدار التدريجي العشوائي يتقارب نحو الحلول المثلى بموثوقية أكبر حين $N \gg n$. النتيجة أن النماذج الأكبر أسهل في التدريب وأفضل في التعميم في الوقت نفسه — فائدة مزدوجة لم تتوقعها النظرية الكلاسيكية.

ثالثاً، التنظيم يحتاج إعادة تقييم. التنظيم مفيد في النظام الكلاسيكي، لكنه قد يمنع النموذج من الوصول إلى النظام الحديث المفيد بإبقائه بعيداً عن الاستيفاء. الرسالة العملية: تحتاج لتفكير أدق في متى تستخدم التنظيم وبأي مقدار.

منحنى الهبوط المزدوج غيّر جذرياً فهمنا للعلاقة بين حجم النموذج والتعميم. قبل هذه الورقة، كان المبدأ السائد أن النموذج الأكبر يعني فرط تخصيص أكثر. بعدها، أدرك المجتمع البحثي أن هناك نظامين مختلفين — والنظام الحديث الذي تجد فيه النماذج الأكبر حلولاً استيفائية أنعم هو ما يفسّر النجاح التجريبي للتعلّم العميق. هذا الفهم أصبح اليوم أساساً لعصر قوانين التحجيم، حيث المبدأ العملي واضح: إذا سمحت الموارد، كبّر النموذج.