انحدار الحَرْف: التقدير المنحاز للمسائل غير المتعامدة

تعمل المربعات الصغرى العادية على إيجاد متجه المعاملات β̂ الذي يجعل مجموع مربعات البواقي أصغر ما يمكن. حين تكون المتنبّئات مستقلة عن بعضها — أي متعامدة — تعمل الطريقة بامتياز. لكن في التطبيقات الحقيقية، الاستقلال التام نادر: فكّر مثلاً في التنبؤ بأسعار المنازل اعتماداً على المساحة وعدد الغرف — المتغيّران يتحرّكان معاً غالباً.

حين تكون المتنبّئات مترابطة، تتّجه أعمدة مصفوفة التصميم X في اتجاهات متشابهة، فتصبح المصفوفة X'X سيئة الاشتراط: بعض قيمها الذاتية تنكمش قرب الصفر. الآن تخيّل أنك تقسم على عدد قريب جداً من الصفر — النتيجة تنفجر. هذا بالضبط ما يحدث: المربعات الصغرى تُضخّم الضوضاء في الاتجاهات الهشّة، فتُخرج معاملات قد تكون غير منحازة نظرياً لكنها تقفز بعنف من عيّنة إلى أخرى — أي أنها عديمة الفائدة عملياً.

لكي نفهم لماذا يحدث هذا الانفجار، ننظر إلى X'X من زاوية القيم الذاتية. كل قيمة ذاتية $\lambda_j$ تُعبّر عن مقدار «الإشارة» المتوفّرة في اتجاه معيّن من فضاء المتنبّئات. حين تعكس المربعات الصغرى المصفوفة X'X، فهي فعلياً تقسم على كل قيمة ذاتية. الاتجاهات القوية — ذات $\lambda_j$ الكبيرة — لا مشكلة فيها. أمّا الاتجاهات ذات $\lambda_j$ الضئيلة فتتضخّم تضخّماً هائلاً: $\text{Var}(\hat{\beta}_j) \propto 1/\lambda_j$.

هناك مقياس عملي لرصد هذه المشكلة اسمه مُعامل تضخّم التباين (VIF)، ويُحسب كالتالي: $\text{VIF}_j = 1/(1 - R_j^2)$، حيث $R_j^2$ يقيس مدى إمكانية التنبؤ بالمتغيّر $j$ من بقية المتغيّرات. إذا تجاوز VIF القيمة 10، فهذا تحذير واضح: تباين ذلك المعامل مُضخَّم عشر مرات على الأقل.

الحل أنيق في بساطته: قبل أن تعكس المصفوفة X'X، أضِف ثابتاً موجباً صغيراً $k$ إلى كل عنصر على القطر الرئيسي. الأثر العملي أشبه برفع أرضية تحت كل القيم الذاتية — حتى الضئيلة منها أصبحت لا تقلّ عن $k$، فلم يعد عكسها يُنتج أرقاماً منفجرة.

من الزاوية الهندسية، المربعات الصغرى تبحث عن β الذي يُقلّل $\|y - X\beta\|^2$. انحدار الحَرْف يُضيف شرطاً إضافياً: قلّل $\|y - X\beta\|^2 + k\|\beta\|^2$. الحدّ الثاني $k\|\beta\|^2$ يفرض على المعاملات ألّا تكبر أكثر من اللازم — يسحبها نحو الصفر بمقدار يتحكّم فيه $k$. هذا هو أقدم شكل لما نسمّيه اليوم التنظيم.

تخيّل الأمر كلعبة شدّ حبل بين قوّتين: الأولى تسحب β نحو حلّ المربعات الصغرى لكي يُطابق البيانات، والثانية تسحبه نحو الصفر لكي يبقى صغيراً ومنضبطاً. المُعامل $k$ يُحدّد أيّ الحبلين أقوى. حين $k = 0$ تسيطر المربعات الصغرى وحدها. ومع زيادة $k$، تنكمش المعاملات أكثر فيزداد الانحياز وينخفض التباين — وبين الطرفين توجد نقطة مثلى يكون عندها الخطأ الكلي (MSE) في أدنى مستوياته.

مبرهنة غاوس-ماركوف تقول إنّ المربعات الصغرى هي أفضل مُقدِّر خطي غير منحاز (BLUE). لكن تأمّل العبارة جيداً: «أفضل بين غير المنحازين» لا يعني «أفضل على الإطلاق». الخطأ الكلي للتنبؤ يتحلّل إلى مركّبتين: $\text{MSE} = \text{Bias}^2 + \text{Variance}$. المربعات الصغرى تُحقّق انحيازاً صفرياً، لكنّ تباينها قد يكون ضخماً حين تصغر القيم الذاتية. انحدار الحَرْف يقبل بقدر من الانحياز — يسحب المعاملات منهجياً نحو الصفر — لكنّ المكسب في خفض التباين أكبر بكثير، فينخفض الخطأ الكلي.

النتيجة المحورية لهورل وكينارد تقول: مهما كانت قيمة β الحقيقية، يوجد حتماً $k > 0$ يجعل $\text{MSE}(\hat{\beta}_{\text{ridge}}) < \text{MSE}(\hat{\beta}_{\text{OLS}})$. بعبارة أخرى، قبول قدر من الانحياز يُعطيك نتائج أفضل دائماً حين تكون المتنبّئات مترابطة.

اقترح هورل وكينارد أداة بصرية تُسمّى أثر الحَرْف: ترسم كل معامل $\hat{\beta}_j$ كدالة في $k$. عند $k = 0$ — أي المربعات الصغرى — قد تجد المعاملات كبيرة جداً أو متقلّبة أو حتى بإشارة معكوسة. لكن مع زيادة $k$ تبدأ المعاملات بالهدوء والاستقرار، وغالباً تستقرّ عند قيم تتوافق مع المنطق الفيزيائي للمسألة. القاعدة العملية: اختر أصغر $k$ تستقرّ عنده المعاملات.

في الممارسة الحديثة، حلّ التحقق المتقاطع محلّ أثر الحَرْف في كثير من الحالات — قسّم البيانات إلى أجزاء، جرّب قيماً مختلفة لـ $k$، واختر القيمة التي تُعطي أقل خطأ تنبؤ على البيانات المحجوبة. لكنّ أثر الحَرْف يظل أداة ثمينة لفهم أيّ المعاملات هشّة ولماذا.

يمكن فهم انحدار الحَرْف بصورة هندسية أنيقة. المربعات الصغرى تُقلّل $\|y - X\beta\|^2$، وإذا رسمت خطوط تساوي هذه الخسارة في فضاء المعاملات β، تحصل على قطوع ناقصة مركزها حلّ المربعات الصغرى. عقوبة الحَرْف $k\|\beta\|^2$ تُضيف شرطاً: «لا تبتعد كثيراً عن نقطة الأصل» — أي ابقَ داخل كرة نصف قطرها $t$. حلّ الحَرْف هو النقطة التي يلمس فيها أصغر قطع ناقص للخسارة سطحَ كرة القيد.

قارن ذلك مع لاسو: قيد L1 شكله كالمُعيَّن — زواياه على المحاور. ولأنّ نقطة التماس تقع غالباً عند إحدى هذه الزوايا، يُصفّر لاسو بعض المعاملات تماماً — وهذا ما يجعله أداة لانتقاء المتغيّرات. أمّا قيد L2 فشكله دائري بلا زوايا، ولذلك يُقلّص انحدار الحَرْف المعاملات بسلاسة دون أن يُصفّر أيّاً منها.

انحدار الحَرْف ليس مجرد حيلة جبرية — إنه يتقاطع مع أفكار كبيرة في عدة مجالات. من المنظور البايزي، هو مكافئ تماماً لوضع أسبقيّة غاوسية $\beta \sim N(0, \sigma^2/k \cdot I)$ على المعاملات ثم حساب منوال التوزيع اللاحق. المُعامل $k$ يُعبّر ببساطة عن اعتقاد مسبق بأنّ المعاملات لن تكون كبيرة جداً.

من منظور معالجة الإشارات، انحدار الحَرْف هو مُرشّح وينر (Wiener Filter) الذي يوازن بين كبت الضوضاء والحفاظ على الإشارة الأصلية.

أمّا في التعلم العميق، فإنّ اضمحلال الأوزان — أي إضافة $\lambda \|\theta\|^2$ إلى الخسارة — هو بالضبط انحدار حَرْف مُطبَّق على معاملات الشبكة العصبية. حين تكتب weight_decay=0.01 في المُحسِّن، فأنت تستخدم الفكرة ذاتها التي نشرها هورل وكينارد عام 1970.

أهمية انحدار الحَرْف تتجاوز المسألة التي حلّها. المبدأ الذي أرساه — أنّ تقييد حرية النموذج يُحسّن قدرته على التنبؤ — أعاد تشكيل الإحصاء والتعلم الآلي بأكمله، وصار الأساس الذي بُنيت عليه كل أدوات التنظيم الحديثة.

لاسو (عقوبة L1) وانحدار الحَرْف (عقوبة L2) كلاهما يُقلّص المعاملات، لكنّ آلية التقليص مختلفة تماماً:

• انحدار الحَرْف يُقلّص كل المعاملات بنِسَب متقاربة دون أن يُلغي أيّاً منها. الخيار المناسب حين تعتقد أنّ جميع المتنبّئات تحمل معلومات مفيدة وأنّ المشكلة هي الارتباط بينها — كما في التحليل الطيفي أو بيانات الجينوم ذات المسارات المتداخلة.

• لاسو يدفع بعض المعاملات إلى الصفر بالكامل، فيعمل كأداة انتقاء للمتغيّرات. الخيار المناسب حين تتوقّع أنّ عدداً قليلاً فقط من المتنبّئات يؤثّر فعلاً وتريد نموذجاً مختصراً.

• الشبكة المرنة تمزج بين الاثنين: $\alpha \|\beta\|_1 + (1-\alpha)\|\beta\|_2^2$. مفيدة حين تريد انتقاء المتغيّرات مع الحفاظ على التعامل الجيّد مع المتغيّرات المترابطة.

باختصار: الحَرْف يقول «أبقِ الجميع لكن اخفض أصواتهم»، ولاسو يقول «اطرد من لا فائدة منه». عملياً، جرّب الاثنين ودع التحقق المتقاطع يُقرّر.