السِّمات العشوائية لآلات النواة واسعة النِّطاق

قوة آلة المتجهات الداعمة وأساليب النواة عموماً تكمن في قدرتها على تعلُّم أي حدّ قرار مهما كان تعقيده، بشرط توفُّر بيانات كافية. الآلية المحورية هنا هي خدعة النواة: بدلاً من حساب إحداثيات النقاط في فضاء سمات قد يكون لانهائي الأبعاد، يكفي حساب الجداء الداخلي بين كل زوج من النقاط وتجميعه في مصفوفة غرام $K$ حيث $K_{ij} = k(x_i, x_j)$.

المشكلة واضحة: هذه المصفوفة فيها $N^2$ عنصر. حين يكون $N = 500{,}000$ تحتاج نحو تيرابايت من الذاكرة لتخزينها، و$O(N^2 d)$ عملية لحسابها. حتى المُحلِّلات التكرارية مثل SMO لا تستطيع تجاوز بضع مئات الآلاف من النقاط عملياً. في المقابل، آلة المتجهات الداعمة الخطية — التي تبحث فقط عن سطح فاصل $w^\top x + b = 0$ — تعمل بزمن $O(Nd)$، لكنها مقيَّدة بحدود قرار مستقيمة.

السؤال الجوهري الذي تطرحه الورقة: هل نستطيع الجمع بين القوة اللاخطية لأساليب النواة وسرعة الأساليب الخطية؟

خدعة النواة تقول إن $k(x, y) = \langle \phi(x), \phi(y) \rangle$ حيث $\phi$ تعيين رفع إلى فضاء عالي الأبعاد (وقد يكون لانهائياً). الفكرة الذكية التي قدّمها رحيمي وريخت هي قلب المعادلة: بدلاً من العمل ضمنياً في فضاء $\phi$ الضخم، نبني تعييناً صريحاً مختصراً $z: \mathbb{R}^d \to \mathbb{R}^D$ (حيث $D \ll N$) بحيث:

$k(x, y) \approx z(x)^\top z(y)$

بعد تحويل كل نقطة تدريب إلى $z(x_i)$، نُخزِّن مصفوفة بحجم $N \times D$ بدلاً من $N \times N$. عندها تستطيع أي خوارزمية تعلُّم خطية — انحدار ريدج، آلة متجهات داعمة خطية، انحدار لوجستي — حلّ المسألة بزمن $O(ND^2)$ بدل $O(N^2 d)$.

الملاحظة المفتاحية هي أن هذا يعمل تحديداً مع النوى ثابتة الإزاحة — أي النوى التي تعتمد فقط على الفارق $x - y$ بين النقطتين، مثل دالة الأساس الشعاعي الغاوسية. في هذه الحالة، مبرهنة بوخنر من التحليل التوافقي تُخبرنا تماماً كيف نبني $z$.

النواة ثابتة الإزاحة تعتمد فقط على الفارق بين النقطتين: $k(x, y) = k(x - y)$. مبرهنة بوخنر (1933) تقول شيئاً قوياً عن هذا النوع من النوى: أي نواة كهذه — بشرط أن تكون مستمرة وموجبة التعريف — يمكن التعبير عنها كتحويل فورييه لمقياس غير سالب. وإذا ضبطنا القياس بحيث $k(0) = 1$، يصبح تحويلها $p(\omega)$ توزيعاً احتمالياً حقيقياً.

ما يعنيه هذا عملياً أننا نستطيع كتابة النواة على شكل قيمة متوقعة:

$k(x - y) = \mathbb{E}_{\omega \sim p}\left[ e^{j\omega^\top(x-y)} \right]$

وبما أن كلاً من $p(\omega)$ و$k$ حقيقيتان، تتلاشى الأجزاء التخيّلية، فنستبدل الأُسّية المركّبة بدالة جيب تمام. نسحب تردداً $\omega$ من التوزيع $p$ وإزاحة طور $b$ بشكل منتظم من $[0, 2\pi]$، فتُحقِّق الدالة $z_\omega(x) = \sqrt{2}\cos(\omega^\top x + b)$:

$\mathbb{E}[z_\omega(x)\, z_\omega(y)] = k(x - y)$

إذن كل إسقاط عشوائي بجيب التمام يُعطينا مُقدِّراً غير منحاز لقيمة النواة. نُكدِّس $D$ من هذه الإسقاطات في متّجه واحد ونُقسِّم على $\sqrt{D}$، فيصبح الجداء النقطي $z(x)^\top z(y)$ تقريباً منخفض التباين. متراجحة هوفدينغ تضمن أن هذا التقريب يتحسّن بسرعة أُسّية كلما زدنا $D$.

يمكن تصوّر العملية كـماسح ترددي: كل دالة جيب تمام عشوائية تأخذ المدخل وتُسقطه على اتجاه عشوائي في فضاء البيانات، ثم تلفّ هذا الإسقاط على دائرة. إذا وقعت نقطتان قريبتين من بعضهما على عدد كبير من هذه الدوائر، فلا بدّ أنهما كانتا متقاربتين في الفضاء الأصلي بمعيار النواة — الفكرة نفسها حين تُعطي محطتا إذاعة قراءات متقاربة على عدة أجهزة استقبال مضبوطة عشوائياً: هذا دليل قوي على تقارب إشاراتهما الأصلية.

من مبرهنة بوخنر نعرف أن لكل نواة ثابتة الإزاحة توزيعاً طيفياً $p(\omega)$ خاصاً بها. اختيار النواة هو ما يُحدِّد من أين نسحب الترددات العشوائية $\omega$:

• دالة الأساس الشعاعي الغاوسية $k(\Delta) = \exp(-\|\Delta\|^2 / 2)$: نسحب $\omega$ من توزيع غاوسي $\mathcal{N}(0, I)$.
• النواة اللابلاسية $k(\Delta) = \exp(-\|\Delta\|_1)$: نسحب كل $\omega_d$ من توزيع كوشي $\frac{1}{\pi(1 + \omega_d^2)}$.
• نواة كوشي $k(\Delta) = \prod_d \frac{2}{1 + \Delta_d^2}$: نسحب $\omega$ من توزيع لابلاسي (أُسّي مزدوج) $e^{-\|\omega\|_1}$.

هناك نمط أنيق هنا: النواة وتوزيعها الطيفي ثنائية فورييه. النواة الضيقة (ذات التأثير المحلي) يقابلها توزيع طيفي واسع، والعكس صحيح — وهذا تطبيق مباشر لمبدأ عدم اليقين المعروف في معالجة الإشارات.

ليست كل النوى ملساء. النواة اللابلاسية $e^{-|x-y|}$ والنوى الأخرى المبنية على مسافة L1 فيها زوايا حادة لا تُناسبها الدوال الملساء. لهذه الحالات يقترح رحيمي وريخت أداة ثانية: سمات التجزئة العشوائية.

الفكرة بسيطة ومكانية بامتياز: نُقسِّم فضاء المدخلات بشبكة مُزاحة عشوائياً وبدقة عشوائية. كل نقطة تُرمَّز بـمتّجه مؤشّر ثنائي يُحدِّد الخانة التي وقعت فيها. إذا وقعت نقطتان في الخانة ذاتها يكون جداؤهما النقطي يساوي 1، وإلا فصفر. الذكاء هنا أن دقة الشبكة مسحوبة من توزيع مُشتقّ من النواة نفسها، بحيث يكون احتمال وقوع نقطتين في الخانة ذاتها مساوياً لقيمة النواة بينهما: $\Pr[\hat{x} = \hat{y}] = k(x, y)$.

نُكدِّس $P$ تجزئة عشوائية مستقلة ونأخذ المتوسط، فنحصل على مُقدِّر منخفض التباين وغير منحاز. الفارق الجوهري عن سمات فورييه أن التجزئة ثابتة القيمة داخل كل خانة — وهذا يعني أنها تحافظ صراحةً على البنية المحلية، مما يجعلها أنسب لحدود القرار غير الملساء كمجموعة بيانات Forest Cover التي تحتاج عشرات الآلاف من المتجهات الداعمة.

الطريقتان تتكاملان ولكلٍّ منهما مواطن قوة مختلفة:

سمات فورييه العشوائية تُولِّد تمثيلات ملساء ومستمرة، وهي الأنسب لمسائل الاستكمال حيث تكون حدود القرار ناعمة والنواة قابلة للاشتقاق (كـدالة الأساس الشعاعي الغاوسية). هذه تتفوق في معايير CPU وCensus للانحدار.

سمات التجزئة العشوائية تُولِّد تمثيلات ثابتة القيمة داخل كل خانة، فتحافظ صراحةً على البنية المحلية. تتألق في مسائل الحفظ — حيث حدود القرار خشنة ومعقدة وتحتاج متجهات داعمة كثيرة. مجموعة بيانات Forest Cover مثال صارخ: التجزئة تحقق خطأ 2.2% (مساوٍ لآلة المتجهات الداعمة الدقيقة)، بينما سمات فورييه لا تنزل عن 11.6%.

كقاعدة عملية: إن كانت آلة المتجهات الداعمة الدقيقة تكتفي بعدد قليل من المتجهات الداعمة، فسمات فورييه ستعمل جيداً. أما إن احتاجت عدداً كبيراً، فالتجزئة هي الخيار الأفضل. والجميل أنه يمكن دمج النوعين معاً بحرية للاستفادة من مزايا كليهما.

السؤال الطبيعي هنا: ما مدى جودة هذا التقريب؟ الورقة لا تكتفي بنتائج تجريبية، بل تُقدِّم ضمانات تقارب منتظم — أي أن التقريب مضبوط ليس فقط لزوج واحد $(x, y)$، بل لـجميع الأزواج دفعة واحدة فوق مجموعة متراصّة $M$.

بالنسبة لسمات فورييه العشوائية: باحتمال عالٍ، أسوأ خطأ تقريب عبر جميع الأزواج لا يتجاوز $\epsilon$ حين يكون عدد السمات بحدود $D = \Omega\!\left(\frac{d}{\epsilon^2} \log \frac{\sigma_p \cdot \text{diam}(M)}{\epsilon} \right)$، حيث $\sigma_p^2$ هو العزم الثاني للتوزيع الطيفي (أي أثر مصفوفة هيسيان للنواة عند نقطة الأصل).

النقطة الجوهرية: عدد السمات $D$ يعتمد على بُعد البيانات $d$ والدقة المطلوبة $\epsilon$، لكنه لا يعتمد على عدد نقاط التدريب $N$. حتى مع مليون نقطة تدريبية، بضع مئات من السمات العشوائية كافية لتحقيق خطأ تقريب أقل من واحد بالمئة مع النوى المعتادة.

قارنت الورقة أداء السمات العشوائية مع انحدار ريدج مقابل آلة المتجهات الجوهرية (CVM) وآلات المتجهات الداعمة الدقيقة، على خمس مجموعات بيانات كبيرة. النتائج كانت لافتة:

• في CPU (6,500 مثال، انحدار): سمات فورييه حققت خطأ 3.6% في 20 ثانية — بينما آلة المتجهات الداعمة الدقيقة احتاجت 31 ثانية لتصل إلى خطأ 11%.
• في Adult (32 ألف مثال، تصنيف): خطأ 14.9% في 9 ثوانٍ فقط، مقابل 15.1% لـ SVMlight في 7 دقائق.
• في Forest Cover (522 ألف مثال، تصنيف): سمات التجزئة حققت خطأ 2.2% في 25 دقيقة، مقابل 2.2% لـ libSVM في 44 ساعة.

هناك ملاحظتان مهمتان أيضاً. الأولى أن الدقة تستمر في التحسّن كلما زادت بيانات التدريب — مضاعفة البيانات خفّضت الخطأ حتى 40%، وهذا ترف لا تتحمّله آلات النواة الدقيقة بسبب تكلفتها التربيعية. الملاحظة الثانية أن عدداً متواضعاً من السمات يكفي: بين $D = 300$ و$500$ لمعظم مجموعات البيانات.

المسار الكامل لتطبيق السمات العشوائية بسيط ومباشر:

1. اختر النواة — دالة أساس شعاعي غاوسية، لابلاسية، أو أي نواة ثابتة الإزاحة.
2. احسب التوزيع الطيفي $p(\omega)$ — أي تحويل فورييه للنواة.
3. اسحب D تردداً عشوائياً $\omega_1, \dots, \omega_D$ من $p(\omega)$ وD إزاحة طور $b_1, \dots, b_D$ من $\text{Uniform}[0, 2\pi]$.
4. حوِّل كل نقطة بيانات: $z(x) = \sqrt{2/D}\,[\cos(\omega_1^\top x + b_1), \dots, \cos(\omega_D^\top x + b_D)]^\top$.
5. درِّب نموذجاً خطياً على البيانات المحوَّلة (انحدار ريدج، آلة متجهات داعمة خطية، أو غيرها).
6. تنبَّأ: $f(x) = w^\top z(x)$ — تكلفته فقط $O(D + d)$ عملية.

نقطة مهمة: الترددات العشوائية تُسحب مرة واحدة وتُستخدم لجميع نقاط البيانات. المسار بأكمله يستبدل حساب النواة بتكلفة $O(N^2)$ بحساب السمات بتكلفة $O(ND)$ ثم حل خطي بتكلفة $O(ND^2)$.

لنتأمّل صيغة سمات فورييه العشوائية مرة أخرى: $z(x) = \sqrt{2/D}\,\cos(W^\top x + b)$. هذه في حقيقتها شبكة عصبية بـطبقة مخفية واحدة، أوزانها $W$ عشوائية ومُجمَّدة ودالة تنشيطها هي جيب التمام — الطبقة الوحيدة التي تُدرَّب هي طبقة المخرجات.

هذه الملاحظة ليست مصادفة. نظرية نواة المماس العصبي (جاكو وآخرون، 2018) أثبتت أن تدريب شبكة عصبية لانهائية العرض بـالانحدار التدريجي يُكافئ تماماً انحدار نواة بنواة محدّدة تعتمد على بنية الشبكة. السمات العشوائية هي النسخة محدودة العرض والصريحة من هذا التكافؤ.

هذه الورقة زرعت البذرة الأولى: تقريب النواة عبر الإسقاطات العشوائية لم يكن مجرد حيلة حوسبية لتسريع الحساب — بل كشف ارتباطاً بنيوياً عميقاً بين أساليب النواة والشبكات العصبية، وأعاد تشكيل فهمنا لكلا المجالين.