العمليات الغاوسية للتعلم الآلي

في التعلم المُوجَّه التقليدي تبدأ باختيار شكل النموذج — لنقل كثير حدود من الدرجة 3 — ثم تضبط معاملاته. لكن لماذا الدرجة 3 بالذات؟ لو اخترتَ الدرجة 2 فقد يعجز عن التقاط انحناء حقيقي في البيانات. ولو اخترتَ الدرجة 10 فسيحفظ الضوضاء عن ظهر قلب. أنت إذاً مُلزم بتخمين درجة التعقيد مسبقاً، وإن أخطأتَ فإما أن تهدر بيانات عبر التحقق المتقاطع، أو تحصل على تنبؤات واثقة أكثر مما ينبغي.

الشبكات العصبية تعاني من المشكلة المعاكسة: فيها معاملات أكثر من اللازم، لذلك تُضاف تقنيات التنظيم لمنع الإفراط في التخصيص. النتيجة تعمل عملياً، لكنها لا تُخبرك بمقدار ثقتك في كل تنبؤ — لا يوجد مقياس مبدئي لعدم اليقين.

السؤال الذي طرحته العمليات الغاوسية: ماذا لو تخلّينا تماماً عن فكرة اختيار نموذج ثابت بعدد محدود من المعاملات، ووضعنا بدلاً من ذلك توزيعاً احتمالياً مباشرةً على الدوال نفسها، وتركنا البيانات تُخبرنا أي الدوال معقولة؟

العملية الغاوسية هي ببساطة تعميم لـالتوزيع الغاوسي متعدد المتغيرات إلى عدد لا نهائي من الأبعاد. بدلاً من وصف احتمالية متجه محدود الطول، فإنها تصف احتمالية دالة بأكملها.

التعريف الرياضي أنيق: العملية الغاوسية مجموعة من المتغيرات العشوائية، أيّ عدد منتهٍ منها يتبع توزيعاً غاوسياً مشتركاً. وهي تتحدد بالكامل بأمرين اثنين:

• دالة المتوسط $m(x) = \mathbb{E}[f(x)]$: تخمينك الافتراضي قبل أن ترى أي بيانات، وغالباً نضعها مساوية للصفر.

• دالة التغاير $k(x, x') = \text{Cov}[f(x), f(x')]$: وتُسمّى أيضاً النواة — وهي تُحدّد مدى الارتباط بين قيم الدالة عند نقطتين مختلفتين.

فكّر في النواة كـمسطرة تشابه: حين تسأل «إذا عرفتُ قيمة $f(x)$، كم يُفيدني ذلك في تخمين $f(x')$؟» النواة تُجيبك. إن كان المدخلان قريبين فالتغاير مرتفع والدالة تتغيّر ببطء بينهما، وإن كانا بعيدين فالتغاير منخفض والدالة حرّة في أن تأخذ أي شكل.

النواة هي البوابة التي تدخل منها معرفتك التخصصية إلى النموذج. كل نواة تعبّر عن افتراض مختلف حول سلوك الدالة التي تتوقعها:

• نواة الأُسّي التربيعي (RBF) بصيغة $k(x,x') = \sigma^2 \exp\!\bigl(-\frac{\|x-x'\|^2}{2\ell^2}\bigr)$ تفترض دوالاً ناعمة تماماً بلا حدّ. فيها مُعامِلان فائقان مهمّان: مقياس الطول $\ell$ الذي يتحكم في سرعة تلاشي الارتباط مع المسافة — قيمة صغيرة تسمح بتذبذبات سريعة وقيمة كبيرة تفرض اتجاهات عريضة — وتباين الإشارة $\sigma^2$ الذي يتحكم في المقياس الرأسي.

• عائلة ماتيرن تسمح بدوال أكثر خشونة، ويتحكم فيها معامل نعومة $\nu$. حين يكون $\nu = 1/2$ نحصل على عملية أورنشتاين-أولنبيك وهي شديدة الخشونة، وحين $\nu \to \infty$ تتقارب مع نواة الأُسّي التربيعي الناعمة تماماً.

• الأنوية الدورية تلتقط الأنماط المتكررة — مثالية لبيانات فيها موسميّة.

• والجميل أنك تستطيع تركيب الأنوية: جمع نواتين يمزج أنماطهما، وضربهما يُنشئ تفاعلاً بينهما — كأن تحصل على دالة دورية تتغيّر سعتها تدريجياً مع الزمن.

الخطوة الحاسمة تحدث حين تصل البيانات. لنفترض أن لدينا $n$ نقطة تدريب $\{(x_i, y_i)\}$ حيث $y_i = f(x_i) + \varepsilon$ والضوضاء $\varepsilon \sim \mathcal{N}(0, \sigma_n^2)$. ما نريده هو التوزيع البَعدي $p(f_* | X, y, x_*)$ عند نقطة اختبار جديدة $x_*$.

الميزة الكبرى أن كل شيء يبقى غاوسياً، فـالتوزيع البَعدي غاوسي هو الآخر — ونستطيع حساب متوسطه وتباينه بصيغة مغلقة مباشرة. المتوسط التنبؤي عبارة عن مجموع موزون لقيم التدريب، والأوزان تأتي من النواة. أما التباين التنبؤي فيكبر في المناطق البعيدة عن بيانات التدريب وينكمش بالقرب منها.

وهنا تكمن القوة الحقيقية: العملية الغاوسية تمنحك أشرطة الخطأ مجاناً. لا تحتاج إعادة معاينة ولا تجميع عدة نماذج — عدم اليقين يخرج طبيعياً من التحديث البايزي نفسه.

السؤال العملي الآن: كيف تختار النواة المناسبة وتضبط مُعامِلاتها الفائقة كمقياس الطول $\ell$؟ هنا تقدّم العمليات الغاوسية إجابة أنيقة: عظِّم الأرجحية الهامشية — أي احتمال البيانات المرصودة بعد أن نُكامل على جميع الدوال الممكنة.

لوغاريتم الأرجحية الهامشية ينقسم إلى ثلاثة حدود، فكّر فيها كنظام تقييم يعمل آلياً:

• مطابقة البيانات: يقيس مدى تفسير النموذج لبيانات التدريب — وهذا الحد يميل بطبيعته إلى تفضيل النماذج المعقدة.

• عقوبة التعقيد: يقيس مقدار الاحتمال الذي يُهدره النموذج على دوال لا توافق البيانات — وهذا الحد يُعاقب النماذج المعقدة.

• ثابت التسوية: حدّ ثابت لا يؤثر في المقارنة.

حدّ المطابقة يُكافئ النماذج التي تقترب من البيانات، وحدّ التعقيد يُعاقب تلك التي توزّع احتمالها على دوال كثيرة لا لزوم لها. والمحصلة تعمل كمبدأ أوكام تلقائي: أبسط نموذج يفسّر البيانات هو الفائز.

حين ننتقل إلى التصنيف يختلف الوضع: المخرج لم يعد قيمة مستمرة بل تسمية صنف. الفكرة أن العملية الغاوسية تبني دالة كامنة $f(x)$ ثم تُمرّرها عبر دالة سيجمويد (في التصنيف الثنائي) أو سوفتماكس (في التصنيف المتعدد) لتحويلها إلى احتمالات أصناف.

لكن هنا يظهر تحدٍّ: دالة السيجمويد تكسر التواؤم الغاوسي، فـالتوزيع البَعدي لـ$f$ لم يعد غاوسياً بالضبط. لذلك نلجأ إلى تقريبات، أشهرها اثنان:

• تقريب لابلاس: نجد قمة التوزيع البَعدي (المنوال) ثم نُقرّبه بتوزيع غاوسي يعتمد على الانحناء المحلي عند تلك القمة (مصفوفة هسّ). سريع الحساب لكنه قد يخطئ حين يكون التوزيع الحقيقي غير متماثل.

• الانتشار التوقعي (EP): يبني تقريبات غاوسية محلية عند كل نقطة بيانات ويُحسّنها بشكل تكراري. أدقّ من لابلاس خاصة حين تكون البيانات قليلة.

ورغم هذا التقريب، يبقى مصنّف العملية الغاوسية متميزاً بأنه يُخرج عدم يقين مُعايَر — يقول لك مثلاً «أنا واثق بنسبة 60% أن هذا من الصنف أ» بدلاً من أن يفرض قراراً قاطعاً.

من أعمق ما قدّمه هذا الكتاب أنه كشف أن العمليات الغاوسية ليست تقنية منفصلة، بل هي عدسة توحيدية تربط عدة مجالات ببعضها:

• آلات المتجهات الداعمة هي عمليات غاوسية بلا عدم يقين. ما تحسبه آلة المتجهات الداعمة هو في الواقع تقدير الأعظمية البَعدية (MAP) لعملية غاوسية — أي الدالة الوحيدة الأكثر احتمالاً. العملية الغاوسية تُعطيك أكثر: لا تخمين واحداً بل التوزيع البَعدي بأكمله حول ذلك التخمين.

• الشبكات العصبية اللانهائية هي عمليات غاوسية. أثبت نيل عام 1996 أن شبكة عصبية بطبقة واحدة وعدد لا نهائي من الوحدات المخفية تتقارب إلى عملية غاوسية، حيث تتحدد النواة بـالتوزيع المسبق على الأوزان ودالة التنشيط. هذه الصلة عادت للحياة لاحقاً مع نظرية نواة المماس العصبي.

• الشرائح هي تقديرات MAP لعملية غاوسية. شرائح التنعيم المكعّبة تُكافئ الحلّ MAP لعملية غاوسية بنواة معينة. وكذلك شبكات التنظيم وشبكات دالة الأساس الشعاعي تظهر كحالات خاصة.

قوة هذا التوحيد أن الأفكار تنتقل بين المجالات: ما نتعلمه من تصميم الأنوية في آلات المتجهات الداعمة يُثري اختيار التوزيعات المسبقة في العمليات الغاوسية، وتقدير عدم اليقين الذي تُقدّمه العمليات الغاوسية يُغني تنبؤات الشبكات العصبية.

لا بدّ من الحديث عن العقبة الرئيسية: انحدار العملية الغاوسية يتطلب عكس مصفوفة التغاير من الحجم $n \times n$، وتكلفة ذلك $O(n^3)$ زمنياً و$O(n^2)$ في الذاكرة. لعشرة آلاف نقطة الأمر مقبول، لكن مع ملايين النقاط يصبح غير ممكن عملياً.

لحسن الحظ ظهرت عدة استراتيجيات للتعامل مع هذا:

• أساليب نقاط الاستقراء (الأساليب المتناثرة): الفكرة أن تختار $m \ll n$ نقطة تمثيلية وتُقرّب العملية الغاوسية الكاملة من خلالها، فتنخفض التكلفة إلى $O(nm^2)$. أسلوب FITC والأساليب التبايُنية (تيتسياس 2009) من أشهر الخيارات.

• الأنوية المهيكلة: حين تقع البيانات على شبكة منتظمة، يمكن استغلال البنية الكرونيكرية والتوبلتزية في مصفوفة التغاير لتخفيض التعقيد إلى $O(n \log n)$.

• السمات العشوائية: نُقرّب النواة بخريطة سمات منتهية الأبعاد (رحيمي وريشت 2007)، فتتحول المسألة إلى انحدار خطي بايزي في فضاء السمات.

بفضل هذه التقريبات أصبحت العمليات الغاوسية عملية لمجموعات بيانات بمئات الآلاف من النقاط، وإن بقيت الشبكات العصبية الخيار الأنسب حين تكون البيانات ضخمة فعلاً.

ما قدّمه إطار العمليات الغاوسية لـالتعلم الآلي هو لغة رياضية لعدم اليقين كانت النماذج المعلمية تفتقر إليها. الأمثَلة البايزية — الوريث الأكثر مباشرة — تستخدم عملية غاوسية كنموذج بديل للإجابة عن السؤال الذي يطرحه كل مهندس: «أين أُجري تجربتي التالية؟» هذا السؤال، والإجابة المبدئية التي تُقدّمها العمليات الغاوسية عبر نظرية بايز، هما السبب في أن هذا الكتاب لا يزال مرجعاً أساسياً بعد عقدين من صدوره.