التقريب الجشع للدوال: آلة التعزيز التدرُّجي

بحلول أواخر التسعينيات، وقع ممارسو تعلّم الآلة في معضلة محبطة. شجرة القرار المنفردة شفافة وسريعة، لكن تنبؤاتها خشنة — فهي النموذج الذي نسمّيه المتعلِّم الضعيف في نظرية التجميع. يمكنك تنمية شجرة كبيرة، لكنها ستقع في فرط التخصيص على بيانات التدريب وتفشل على البيانات الجديدة.

أتاحت أساليب التجميع مخرجاً من هذه المعضلة. أثبت AdaBoost أنّ الجمع بين عدة متعلّمين ضعاف — كلٌّ منهم بوزن يعكس دقته — يمكن أن يُنتج مصنِّفاً قوياً. لكن AdaBoost ظلّ مقيّداً بدالة الخسارة الأُسّية ولم يكن لديه مسار واضح نحو مسائل الانحدار أو التقدير المتين أو أي هدف مخصّص آخر. في المقابل، أسلوب التجميع بالعيّنات المتكررة (كما في الغابة العشوائية) قلّل التباين بحساب متوسط أشجار مستقلة، لكن كل شجرة عملت بمعزل عن غيرها — لم تتعلّم أي شجرة من أخطاء سابقتها.

ما كان ينقص هو طريقة منهجية لبناء تجميع تتابعي، تستهدف فيه كل شجرة جديدة تحديداً الأخطاء المتبقية من الجولة السابقة، وأن ينجح ذلك مع أي دالة خسارة يحتاجها الممارس.

في الانحدار التدرُّجي المعتاد، لديك معاملات $\theta$ ودالة خسارة $L(\theta)$. تحسب التدرُّج $\nabla_\theta L$ ثم تخطو خطوة في الاتجاه المعاكس: $\theta \leftarrow \theta - \eta \nabla_\theta L$. الصعوبة الأساسية هنا هي اختيار الطريقة المناسبة لتمثيل النموذج بمعاملات.

الإنجاز الذي قدّمه فريدمان هو نقل فكرة الانحدار التدرُّجي إلى فضاء الدوال. بدلاً من أن يسأل «في أي اتجاه أُحرّك المعاملات؟»، سأل سؤالاً مختلفاً: «عند كل نقطة بيانات، في أي اتجاه ينبغي أن أُحرّك التنبؤ حتى تقلّ الخسارة؟» والجواب هو التدرُّج السالب لدالة الخسارة بالنسبة للتنبؤ الحالي:

$r_i = -\frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}$

تُسمّى هذه القيم $r_i$ البواقي الزائفة. في حالة الخطأ التربيعي تساوي تماماً البواقي العادية $y_i - F(x_i)$. أما في دوال الخسارة الأخرى فهي تُشير إلى اتجاه الانحدار الأشدّ عند كل نقطة. لكنّ المشكلة أنك لا تستطيع اتّباع هذا التدرُّج مباشرةً — ليس لديك حرية تعديل كل تنبؤ على حدة — لذلك الحل هو ملاءمة شجرة جديدة تُقرِّب تلك البواقي الزائفة. هكذا تصبح الشجرة نسخة عملية وقابلة للتعميم من خطوة التدرُّج المثالية.

بنية خوارزمية التعزيز التدرُّجي أنيقة ومباشرة. تبدأ باختيار دالة خسارة $L(y, F)$ تناسب المسألة — الخطأ التربيعي لمسائل الانحدار، أو الانحراف اللوجستي لمسائل التصنيف، أو خسارة هوبر للانحدار المتين. ثم تُكرّر الخطوات التالية:

1. التهيئة بتنبؤ ثابت: $F_0(x) = \arg\min_c \sum_i L(y_i, c)$ (في الخطأ التربيعي، هذا ببساطة متوسط قيم $y$).

2. في كل جولة $m = 1, 2, \ldots, M$:

• احسب البواقي الزائفة: $r_{im} = -\frac{\partial L(y_i, F_{m-1}(x_i))}{\partial F_{m-1}(x_i)}$
• لائم شجرة انحدار $h_m(x)$ على البواقي الزائفة $\{r_{im}\}$
• أوجد حجم الخطوة الأمثل $\gamma_m$ عبر البحث الخطّي: $\gamma_m = \arg\min_\gamma \sum_i L(y_i, F_{m-1}(x_i) + \gamma \cdot h_m(x_i))$
• حدّث النموذج: $F_m(x) = F_{m-1}(x) + \eta \cdot \gamma_m \cdot h_m(x)$

3. النتيجة هي التجميع النهائي $F_M(x)$.

المعامل $\eta$ — وهو ما يُعرف بـالانكماش أو معدَّل التعلُّم — يُصغّر إسهام كل شجرة، فيُجبر الخوارزمية على التقدّم بخطوات صغيرة حذرة. هذا يُحسّن التعميم بشكل ملحوظ، لكنه يتطلّب عدداً أكبر من الأشجار.

قوة التعزيز التدرُّجي تكمن في مرونته وقابليته للتبديل. غيِّر دالة الخسارة وستحصل على سلوك مختلف تماماً — دون أن تمسّ جوهر الخوارزمية. قدّم فريدمان صيغاً جاهزة لأهم الحالات العملية:

المربعات الصغرى (LS): $L = \frac{1}{2}(y - F)^2$. البواقي الزائفة هنا ببساطة هي $(y - F)$. سريعة الحساب وسلسة التدرُّج، لكنها حساسة للقيم الشاذة لأن الأخطاء الكبيرة تُربَّع فتُضخَّم.

الانحراف المطلق (LAD): $L = |y - F|$. البواقي الزائفة هي $\text{sign}(y - F)$. متينة أمام القيم الشاذة لأن كل خطأ يُسهم بالمقدار نفسه بصرف النظر عن حجمه، لكن التدرُّج يفتقر إلى النعومة — يقفز فجأة عند الصفر.

خسارة هوبر: $L = \frac{1}{2}(y-F)^2$ حين $|y-F| \leq \delta$، وإلا $\delta(|y-F| - \delta/2)$. دالة هجينة تجمع أفضل ما في الاثنتين — تربيعية للأخطاء الصغيرة فتُعطي تدرُّجات سلسة، وخطّية للأخطاء الكبيرة فتُقاوم القيم الشاذة. العتبة $\delta$ تتحكم في نقطة الانتقال بين السلوكين.

الخسارة اللوجستية / الانحراف (للتصنيف): $L = \log(1 + e^{-2yF})$ حيث $y \in \{-1, +1\}$. التدرُّج السالب يدفع النقاط الخاطئة التصنيف بقوة أكبر، ويمتد طبيعياً إلى التصنيف متعدد الفئات عبر الانحراف المتعدد الحدود.

لتكوين صورة ذهنية: كل دالة خسارة ترسم تضاريس مختلفة تنحدر عبرها الخوارزمية. الخطأ التربيعي يرسم وعاءً سلساً مستديراً. الانحراف المطلق يرسم وادياً حادّاً كحرف V. وخسارة هوبر ترسم وعاءً يتسطّح عند الأطراف ليصبح وادياً مفتوحاً عند القيم الشاذة.

كلمة «الجشع» في عنوان الورقة تعكس نقطة قوة الخوارزمية ونقطة ضعفها في آنٍ واحد. كل شجرة تُصحّح الأخطاء الحالية بجشع، لكن إذا كان كل تصحيح عنيفاً أكثر من اللازم فإن التجميع يقع في فرط التخصيص. لمواجهة ذلك، قدّم فريدمان أسلوبين فعّالين من أساليب التنظيم:

الانكماش (معدَّل التعلُّم $\eta$): صغّر إسهام كل شجرة بضربه في معامل صغير $\eta \in (0, 1]$، عادةً بين $0.01$ و$0.1$. تخيّله مقبض مستوى الصوت لكل مستشار: حين تخفضه يصبح كل تصحيح أهدأ، لكن اللجنة تحتاج جولات أكثر حتى تصل إلى الإجابة النهائية. التجارب العملية تُظهر أن قيمة $\eta$ صغيرة مع عدد أشجار أكبر تتفوق دائماً تقريباً على قيمة $\eta$ كبيرة مع عدد أشجار قليل. كلما صغرت الخطوات تحسّن التعميم — لكن على حساب مزيد من الحوسبة.

التعزيز التدرُّجي العشوائي: في كل جولة، لائم الشجرة على عيّنة فرعية عشوائية من بيانات التدريب (عادةً 50–80%) بدلاً من استخدام البيانات كاملة. هذه العشوائية تُقلّل التباين (بأسلوب يشبه فائدة التجميع بالعيّنات المتكررة)، وتُسرّع كل جولة، وتعمل كطبقة تنظيم إضافية. الفكرة توازي الانحدار التدرُّجي العشوائي في الأمثَلة المعلمية.

من الناحية النظرية، يعمل التعزيز التدرُّجي مع أي متعلّم أساسي، لكن أشجار الانحدار هي الخيار الطاغي عملياً — وبيّن فريدمان السبب. شجرة القرار تُقسّم فضاء المدخلات إلى مناطق منفصلة $\{R_j\}_{j=1}^J$ وتتنبأ بقيمة ثابتة داخل كل منطقة:

$h(x) = \sum_{j=1}^{J} c_j \cdot \mathbf{1}(x \in R_j)$

هذه البنية تفتح الباب أمام تحسين جوهري: بدلاً من حجم خطوة واحد $\gamma$ للشجرة بأكملها، يستخدم TreeBoost قيمة مثلى منفصلة $\gamma_j$ لكل منطقة ورقية، تُحسَب بـالبحث الخطّي داخل تلك المنطقة:

$\gamma_j = \arg\min_\gamma \sum_{x_i \in R_j} L(y_i, F_{m-1}(x_i) + \gamma)$

بهذا الشكل، كل ورقة تخطو خطوتها المثلى بشكل مستقل — فأجزاء مختلفة من فضاء المدخلات تستطيع التصحيح بمعدلات مختلفة. الأمر أشبه باستخدام إزميل بحجم مناسب لكل جزء من المنحوتة.

عمق الشجرة يتحكّم في تعقيد النموذج. وجد فريدمان أنّ الأشجار الضحلة ($J = 4$–$8$ عقد طرفية) تُعطي أفضل النتائج. كل شجرة تلتقط تفاعلات من رتبة منخفضة (عمق 1 = لا تفاعلات، نموذج جمعي بحت؛ عمق 2 = تفاعلات ثنائية). ثم يبني التجميع تفاعلات معقدة من خلال جمع عدد كبير من التفاعلات البسيطة.

رغم أنّ التعزيز التدرُّجي تجميعٌ من مئات الأشجار، إلا أنه يُوفّر أدوات تفسيرية عملية سلّط فريدمان الضوء عليها:

أهمية السمات النسبية تقيس مدى إسهام كل سمة في تقليل الخسارة. في كل شجرة، يُنسَب التحسُّن في معيار التقسيم عند كل عقدة إلى السمة التي أُجري عليها ذلك التقسيم، ثم تُحسَب المتوسطات على كل أشجار التجميع. السمات التي تظهر في تقسيمات أكثر وتُحقّق تحسينات أكبر تحتلّ مرتبة أعلى. هذا يمنح الممارسين وسيلة لاكتشاف المتغيرات الأكثر تأثيراً في بياناتهم.

مخططات الاعتماد الجزئي تُظهر التأثير الهامشي لسمة أو اثنتين على التنبؤ، بعد حساب المتوسط على قيم بقية السمات. تُجيب عن سؤال عملي: «إذا ثبّتنا كل شيء آخر، كيف يتغيّر التنبؤ عند تغيير هذه السمة؟» هذا يكشف شكل العلاقة — هل هي خطية، أم تتغيّر عند عتبة معينة، أم لها شكل أعقد.

هذه الأدوات جعلت التعزيز التدرُّجي ليس دقيقاً فحسب، بل قابلاً للفهم والتطبيق — فالممارس يستطيع أن يعرف أيّ السمات مهمة وكيف تؤثر على التنبؤات، وهذا مطلب جوهري في مجالات كالطب والتمويل.

أضافت ورقة XGBoost تقريبات تايلور من الرتبة الثانية لـدالة الخسارة، وتنظيماً مدمجاً لتعقيد الشجرة، وابتكارات هندسية جعلت التعزيز التدرُّجي قابلاً للعمل على مليارات الأمثلة. واصل LightGBM وCatBoost هذا المسار بابتكارات خوارزمية وهندسية. الثلاثة جميعاً أحفاد مباشرون لإطار التعزيز التدرُّجي الذي وضعه فريدمان في هذه الورقة.