شبكات ناقلات الدعم

لنبدأ بمهمة تصنيف ثنائي كلاسيكية: لدينا نقاط بيانات تنتمي إلى فئتين، وكل نقطة تحمل عنواناً يدلّ على فئتها. المطلوب إيجاد حدّ فاصل بينهما. هناك حدود كثيرة تُحقّق خطأ تدريب صفرياً، لكن أيّها سيعمل بشكل أفضل على بيانات جديدة لم يَرَها من قبل؟

مصنّف الانحدار اللوجستي يجد حدّاً فاصلاً ما، لكنه ليس بالضرورة الحدّ الذي يُعظّم الفجوة بين الفئتين. الشبكة العصبية قد تجد حدّاً أكثر تعقيداً، لكن عملية الأمثَلة فيها تمرّ عبر سطوح خسارة غير محدّبة مليئة بالحلول المحلية، دون ضمان الوصول إلى أفضل حل.

السؤال الذي طرحه Vapnik وCortes كان: ماذا لو اشترطنا أن يكون حدّ الفصل أبعد ما يمكن عن كلتا الفئتين؟ أثبتا أن هذا الحدّ بالتحديد يُعطي أفضل ضمان لـالتعميم — وأن إيجاده مسألة أمثَلة محدّبة لها حل وحيد وشامل.

الهدف هو إيجاد مستوى فائق — سطح قرار مستوٍ — يفصل بين فئتين بـأوسع هامش ممكن. تخيّل الأمر كأنك تشقّ أعرض شارع ممكن بين حيَّيْن: الشارع نفسه هو حدّ القرار، والهامش هو المنطقة الفارغة على كلّ جانب.

لماذا يهمّنا أن يكون الهامش واسعاً؟ تُخبرنا نظرية VC أن المصنّف ذا الهامش الأوسع يملك سعة أقل (أي عدداً أقل من الدوال القادرة على ملاءمة البيانات)، وهذا يعني حدوداً أضيق على خطأ التعميم. بعبارة مبسّطة: حدّ القرار الذي يلتصق بالبيانات يقع في فخ فرط التخصيص، بينما الحدّ الذي يُبقي أقصى مسافة من كلتا الفئتين يُقدّم الرهان الأكثر أماناً حول مكان النقاط المستقبلية.

النقاط التي تقع بالضبط على حافتَي الهامش هي ناقلات الدعم. هذه هي النقاط الحاسمة: الحل بأكمله يتوقف عليها وحدها. أي نقطة أخرى يمكن أن تختفي من مجموعة البيانات دون أن يتزحزح الحدّ قيد أنملة.

رياضياً، نُعطي الفئتين العنوانَيْن $y_i = +1$ و$y_i = -1$. نبحث عن متجه أوزان $\mathbf{w}$ وانحياز $b$ بحيث يفصل المستوى الفائق $\mathbf{w} \cdot \mathbf{x} + b = 0$ بين الفئتين. المسافة من أي نقطة إلى هذا المستوى تساوي $\frac{|{\mathbf{w} \cdot \mathbf{x}_i + b}|}{||\mathbf{w}||}$، والهامش هو ضعف المسافة إلى أقرب نقطة.

البيانات الحقيقية نادراً ما تقبل الفصل التام. بعض نقاط الفئة الأولى ستقع حتماً داخل منطقة الفئة الثانية، والإصرار على فصل مثالي إمّا أن يفشل أو يُنتج هامشاً رفيعاً كالشفرة يقع في فرط التخصيص. لذلك أدخل Cortes وVapnik متغيرات الارتخاء $\xi_i$ — هامش مرونة صغير لكل نقطة:

• $\xi_i = 0$: النقطة على الجانب الصحيح من الهامش، لا خرق.
• $0 < \xi_i < 1$: النقطة دخلت منطقة الهامش لكنها لا تزال مصنَّفة بشكل صحيح.
• $\xi_i > 1$: النقطة تجاوزت حدّ القرار إلى الجانب الخطأ — تصنيف خاطئ.

المعامل C هو مفتاح التحكم في الموازنة بين اتساع الهامش وعدد الأخطاء. قيمة C كبيرة تعني «عاقِب كل خطأ بشدّة» فيضيق الهامش وتقلّ الأخطاء. وقيمة C صغيرة تعني «تسامَح مع بعض الأخطاء مقابل هامش أوسع» فيتحسّن التعميم. تخيّل C كقرص تحكم بين الصرامة والمرونة — الإفراط في الصرامة يجعل النموذج يحفظ الضوضاء، والإفراط في المرونة يجعله يتجاهل الأنماط الحقيقية.

ماذا لو كانت البيانات غير قابلة للفصل الخطي أصلاً — لا خط مستقيم ولا سطح مستوٍ يستطيع الفصل بين الفئتين؟ هنا تبرز فكرة أنيقة: انقل البيانات إلى فضاء أعلى أبعاداً تصبح فيه قابلة للفصل، ثم أوجد المستوى الفائق ذا الهامش الأقصى هناك.

مثال: فئتان مُرتبتان في دائرتين متحدتَي المركز لا يمكن فصلهما بخط في بُعدين. لكن إذا أضفت بُعداً ثالثاً $z = x_1^2 + x_2^2$ (أي البُعد عن المركز)، ترتفع الدائرة الداخلية بعيداً عن الخارجية ويصبح بإمكان سطح مستوٍ أن يفصل بينهما بسهولة.

المشكلة أن الحساب في فضاءات عالية الأبعاد — بل لا نهائية الأبعاد أحياناً — مُكلف جداً. لكن خدعة النواة تتجاوز هذه العقبة بملاحظة ذكية: مسألة الأمثَلة في آلة ناقلات الدعم لا تعتمد إلا على الضرب النقطي بين نقاط البيانات — وليس على الإحداثيات الفردية. فإذا استطعنا حساب $K(\mathbf{x}_i, \mathbf{x}_j) = \phi(\mathbf{x}_i) \cdot \phi(\mathbf{x}_j)$ مباشرةً من المدخلات الأصلية دون حساب $\phi$ صراحةً، نحصل على النتيجة نفسها بلا أي تكلفة إضافية. هذه الدالة $K$ هي النواة.

كل نواة تُعرِّف فضاء سمات ضمنياً مختلفاً، وبالتالي تُنتج نوعاً مختلفاً من حدود القرار. أهم ثلاث نوى هي:

النواة الخطية: $K(\mathbf{x}, \mathbf{z}) = \mathbf{x} \cdot \mathbf{z}$. لا تحويل هنا على الإطلاق — تُستخدم حين تكون البيانات قابلة للفصل الخطي تقريباً. سريعة وسهلة التفسير، وغالباً فعّالة بشكل مدهش مع البيانات عالية الأبعاد كالنصوص.

نواة متعددة الحدود: $K(\mathbf{x}, \mathbf{z}) = (\mathbf{x} \cdot \mathbf{z} + c)^d$. تنقل البيانات إلى فضاء يحتوي كل التوليفات متعددة الحدود من السمات حتى الدرجة $d$. مناسبة للمسائل التي تهمّ فيها التفاعلات بين السمات، كأنماط XOR مثلاً.

نواة دالة الأساس الشعاعي (RBF/الغاوسية): $K(\mathbf{x}, \mathbf{z}) = \exp(-\gamma ||\mathbf{x} - \mathbf{z}||^2)$. تنقل البيانات إلى فضاء لا نهائي الأبعاد. تُنشئ حدود قرار ناعمة ومحلية — كل ناقل دعم يعمل كنتوء شعاعي يؤثّر على محيطه. وهي أكثر النوى استخداماً للأغراض العامة.

يمكن إعادة صياغة مسألة الأمثَلة في آلة ناقلات الدعم بـصيغتها المُزدوَجة باستخدام مضروبات لاغرانج $\alpha_i$. بدلاً من البحث عن $\mathbf{w}$ و$b$ مباشرة، نبحث عن المضروبات التي تُعظّم دالة لا تعتمد إلا على الضرب النقطي بين نقاط البيانات. وهذا هو المفتاح الذي يُتيح استخدام خدعة النواة: أينما ظهر ضرب نقطي $\mathbf{x}_i \cdot \mathbf{x}_j$ نستبدله بـ$K(\mathbf{x}_i, \mathbf{x}_j)$.

الحل الناتج يتميّز بإيجاز أنيق: معظم قيم $\alpha_i = 0$. والنقاط التي تحمل $\alpha_i > 0$ هي بالضبط ناقلات الدعم. عند التنبؤ بنقطة جديدة $\mathbf{x}$، نحسب تشابه النواة بينها وبين كل ناقل دعم ثم نأخذ تصويتاً موزوناً.

بعد انتهاء التدريب، تُصبح قاعدة التصنيف لأي نقطة جديدة $\mathbf{x}$ بسيطة:

$f(\mathbf{x}) = \text{sign}\left(\sum_{i \in SV} \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b\right)$

مجموع موزون يشمل ناقلات الدعم فقط — وهي في الغالب نسبة صغيرة من بيانات التدريب. النتيجة: مصنّف مبنيّ على أسس رياضية متينة وفي الوقت نفسه سريع حوسبياً عند التنبؤ.

لنتتبّع رحلة البيانات من حالتها الخام إلى لحظة التنبؤ. تمرّ آلة ناقلات الدعم بأربع مراحل:

1. استخلاص السمات: تحويل المدخلات الخام (بكسلات، كلمات) إلى متجهات سمات رقمية. هذه المرحلة الوحيدة التي تحتاج خبرة بالمجال التطبيقي.

2. حساب النواة: حساب مصفوفة النواة $K_{ij} = K(\mathbf{x}_i, \mathbf{x}_j)$ لكل أزواج نقاط التدريب. هذه هي عملية «الرفع الضمني» إلى الفضاء عالي الأبعاد.

3. البرمجة التربيعية: حل المسألة المُزدوَجة لإيجاد مضروبات لاغرانج $\alpha_i$. المسألة محدّبة بحل وحيد — لا حاجة لإعادة تشغيل عشوائية.

4. التنبؤ: لكل نقطة جديدة، نحسب قيم النواة بينها وبين ناقلات الدعم، ونأخذ المجموع الموزون، ونقرأ الإشارة.

اختبر Cortes وVapnik آلة ناقلات الدعم على مجموعة بيانات الأرقام المكتوبة بخط اليد الصادرة عن البريد الأمريكي — المعيار نفسه الذي اختُبرت عليه الشبكات العصبية وخوارزمية أقرب الجيران وأشجار القرار. باستخدام نواة متعددة الحدود من الدرجة الرابعة، حققت آلة ناقلات الدعم معدل أخطاء يُنافس أفضل الشبكات العصبية مع ضمانات نظرية أقوى. بلغ معدل الخطأ %4.0 دون أي هندسة سمات يدوية — وهو قريب بشكل لافت من معدل الخطأ البشري في هذه المهمة.

أبرز ما كشفته التجارب: النوى متعددة الحدود حسّنت الأداء تدريجياً حتى الدرجة الرابعة ثم بدأت العوائد بالتراجع. عدد ناقلات الدعم كان نسبة صغيرة من مجموعة التدريب مما يؤكّد إيجاز النموذج. والأهمّ أن التدريب كان عملية أمثَلة محدّبة واحدة — بلا بحث عن بنية شبكة، ولا جداول لـمعدّل التعلّم، ولا تهيئات عشوائية متعددة للمقارنة بينها.

أصبحت آلة ناقلات الدعم الخوارزمية المهيمنة في تعلّم الآلة من أواخر التسعينيات حتى مطلع العقد الثاني من الألفية. فازت بمسابقات في تصنيف النصوص والمعلوماتية الحيوية (بنية البروتينات والتعبير الجيني) وكشف الوجوه والتصوير الطبي. وتحوّلت خدعة النواة إلى نمط تصميمي: تحليل المكونات الرئيسية بالنواة والانحدار بالنواة والعمليات الغاوسية — كلها ترث الفكرة نفسها.

حين تفوّق التعلّم العميق على آلة ناقلات الدعم في مهام الرؤية واللغة واسعة النطاق نحو عام 2012، لم يمحُ إسهاماتها. مبدأ الهامش الأقصى يعيش في خسارة المِفصل المُستخدمة في كثير من الشبكات العصبية. وألهمت خدعة النواة تقريبات السمات العشوائية القادرة على التوسّع لملايين نقاط البيانات. ولا تزال نظرية VC حجر الأساس في نظرية التعلّم الإحصائي.

تُشكّل آلة ناقلات الدعم جسراً بين الإحصاء الكلاسيكي وتعلّم الآلة الحديث. أثبتت أن الصرامة الرياضية — الأمثَلة المحدّبة ونظرية VC وتقليل المخاطر البنيوي — قادرة على إنتاج خوارزميات ليست جميلة نظرياً فحسب بل مهيمنة عملياً أيضاً. كل أسلوب يعتمد على النوى اليوم، من العمليات الغاوسية إلى شبكات السمات العشوائية، يعود بنسبه إلى هذه الورقة الصادرة عام 1995.