تكييس المتنبِّئات

أشجار القرار أداة قوية لأنها قادرة على رسم حدود قرار معقدة وغير خطية دون أي افتراضات مسبقة عن توزيع البيانات. لكنّ هذه المرونة لها ثمن: عدم الاستقرار. يكفي أن تحذف بضع عيّنات من بيانات التدريب حتى تنقسم الشجرة على متغيرات مختلفة تماماً وتُعطيك تنبؤات مغايرة كلياً.

هذا هو جانب التباين في موازنة الانحياز والتباين. الشجرة العميقة انحيازها منخفض — بمعنى أنها تستطيع تمثيل أي نمط تقريباً — لكنّ تباينها مرتفع لأنها تتعلّم الضجيج مع الإشارة. التقليم يُخفّف المشكلة، لكنّ الهشاشة الجوهرية تبقى: الشجرة حسّاسة أكثر من اللازم لمجموعة التدريب التي صادف أنها تدرّبت عليها.

الوضع المثالي هو أن نجمع عدة مجموعات تدريب مستقلة من العالم الحقيقي، وندرّب نموذجاً على كل واحدة، ثم نحسب المتوسط. لكن في الواقع لا نملك سوى مجموعة واحدة. التمهيد حيلة إحصائية أنيقة تُحاكي وجود مجموعات متعددة: نسحب $N$ عيّنة مع الإعادة من أصل $N$ عيّنة تدريب. بعض العيّنات ستتكرر أكثر من مرة، وبعضها لن يظهر إطلاقاً.

في المتوسط، تحتوي كل عيّنة تمهيدية على نحو 63.2% من العيّنات الأصلية الفريدة، والباقي نُسَخ مكررة. أما الـ36.8% التي لم تُسحب في جولة معيّنة فتُسمّى عيّنات خارج الكيس — وسنرى لاحقاً أنها تتحول إلى مجموعة تحقّق مجانية دون أي جهد إضافي.

التكييس بسيط وأنيق — ثلاث خطوات تتكرر $B$ مرة، ثم خطوة تجميع في النهاية:

الخطوة 1 — التمهيد. اسحب عيّنة $L^{(b)}$ بحجم $N$ مع الإعادة من مجموعة التدريب $L$.

الخطوة 2 — التدريب. ابنِ متنبِّئاً كاملاً غير مقلَّم $\varphi(x, L^{(b)})$ على كل عيّنة تمهيدية. لا حاجة لأي تنظيم — نحن نريد لكل شجرة أن تُفرط في التعلّم حتى يبقى انحياز المجموعة منخفضاً.

الخطوة 3 — التجميع. ادمج المتنبِّئات الـ$B$: بحساب المتوسط في الانحدار، أو بتصويت الأغلبية في التصنيف.

الأساس النظري أنيق. لنتأمّل الحالة المثالية: نفترض أن لدينا عدداً لا نهائياً من مجموعات التدريب المستقلة، كلها مسحوبة من التوزيع الحقيقي $P$. نُعرِّف المتنبئ المُجمَّع كالتالي:

أثبت بريمان متراجحة محورية مستعيناً بمتراجحة يِنسِن، ومفادها أنه لأي متنبئ يُقاس بمربع الخطأ، فإن المتنبئ المُجمَّع يكون دائماً بجودة المتنبئ المفرد المتوسط على الأقل:

كل عيّنة تمهيدية تستبعد نحو 36.8% من عيّنات التدريب. هذه العيّنات المُستبعَدة لم ترها تلك الشجرة قطّ، وبالتالي يمكن استخدامها كمجموعة اختبار غير منحازة لها. الفكرة كالتالي: لكل عيّنة تدريب $x_i$، نجمع التنبؤات فقط من الأشجار التي لم تشملها عيّنتها التمهيدية، ثم نحسب متوسطها. ما نحصل عليه هو تقدير خطأ خارج الكيس — تقدير شبه غير منحاز لخطأ الاختبار لا يحتاج مجموعة تحقّق منفصلة ولا تحقّقاً متقاطعاً.

تقدير خارج الكيس من أكثر إسهامات التكييس قيمةً من الناحية العملية. يمنحك تقديراً موثوقاً للخطأ «مجاناً» أثناء التدريب، وهذا يجعل التكييس خياراً مناسباً بشكل خاص حين تكون البيانات المتاحة محدودة.

اختبر بريمان التكييس مع أشجار التصنيف على سبع مجموعات بيانات، ومع أشجار الانحدار على خمس مجموعات. وكانت النتائج لافتة: التكييس خفّض معدلات التصنيف الخاطئ بنسبة تتراوح بين 20% و47% في جميع معايير التصنيف، وخفّض متوسط مربع الخطأ بنسبة تتراوح بين 22% و46% في الانحدار. أكبر المكاسب جاءت من مجموعات البيانات التي كانت فيها الأشجار المفردة أشد تقلّباً.

ولعل أبلغ تجربة ضابطة كانت تكييس أقرب k جيران — وهو أسلوب مستقر بطبيعته. وكما تتوقع النظرية تماماً، لم تتغير معدلات التصنيف الخاطئ قبل التكييس ولا بعده. السبب ببساطة أن الخوارزمية لم يكن لديها تباين زائد لتخفّضه.

اختبر بريمان التكييس بـ10 و25 و50 و100 شجرة على مجموعة بيانات الموجة المحاكاة. بعشر أشجار فقط تحقّق الجزء الأكبر من التحسّن (خطأ 21.8% مقابل 29.0% للشجرة المفردة). وعند 25 شجرة انخفض الخطأ إلى 19.5%، ولم تُضف 50 أو 100 شجرة أي تحسّن يُذكر بعد ذلك (19.4%).

الرسالة العملية هنا واضحة: التكييس يتقارب بسرعة. على خلاف التعزيز التدريجي حيث قد تؤدي إضافة جولات جديدة إلى الإفراط في التعلّم، فإن زيادة عدد الأشجار في التكييس لا تضرّ أبداً — كل ما هنالك أن التحسّن يتوقف بعد نقطة معيّنة. العوائد تصل إلى مرحلة ثبات لكنها لا تنعكس.

التكييس يُخفّض التباين لكنه لا يُخفّض الانحياز. لو أن كل شجرة تُخطئ النمط الحقيقي بالطريقة نفسها بشكل منهجي — مثلاً لأن صنف النموذج بسيط أكثر من اللازم فتقع كل الأشجار في نقص التعلّم — فإن حساب متوسطها لن يحلّ المشكلة.

هنا يتجلّى الفرق الجوهري بين التكييس والتعزيز. التعزيز يُركّز كل نموذج جديد على أخطاء سابقه، فيُخفّض الانحياز خطوة بخطوة. أما التكييس فيبني نماذج مستقلة بالتوازي ويُخفّض التباين. كلاهما أسلوب تجميعي، لكنهما يُعالجان جانبين مختلفين من الخطأ.

وهناك قيد آخر: قابلية التفسير. الشجرة المفردة سهلة الفحص والشرح، لكن مجموعة من خمسين شجرة تتحول إلى صندوق أسود. وقد أقرّ بريمان نفسه بهذه المقايضة حين قال ما مفاده: ما تخسره مع الأشجار هو البنية البسيطة القابلة للتفسير، وما تكسبه هو دقة أعلى.

أرسى التكييس مبدأين رسما ملامح العقدين التاليين من تعلّم الآلة. الأول: دمج عدد كبير من المتعلّمين الضعاف الذين يُفرطون في التعلّم يمكن أن يُنتج نموذجاً قوياً — لا عن طريق تحسين كل واحد منهم على حدة، بل عن طريق تنويع أخطائهم بحيث يُلغي بعضها بعضاً. والثاني: التمهيد محرك فعّال لتنويع المجموعة التجميعية — فكل مجموعة بيانات مُعاد سحبها تُبرز جوانب مختلفة من البيانات الأصلية.

الغابات العشوائية هي تكييس مع إضافة ذكية: عند كل انقسام لا يُنظر إلا في مجموعة فرعية عشوائية من السمات. هذا يفكّ الارتباط بين الأشجار ويعصر تبايناً إضافياً كان التكييس وحده يتركه على الطاولة. AdaBoost سلك الطريق المعاكس — مجموعات تتابعية تُخفّض الانحياز — وقاد إلى عائلة التعزيز التدريجي. هذان الفرعان معاً أعطيانا أقوى الخوارزميات المتاحة اليوم للتعامل مع البيانات الجدولية.