السَّمْت

Deep Learning Theory2018متقدم11 دقيقة قراءة

نواة المماس العصبية: التقارب والتعميم في الشبكات العصبية

Neural Tangent Kernel: Convergence and Generalization in Neural Networks

Jacot, A. · Gabriel, F. · Hongler, C. — NeurIPS

المشكلة

الشبكات العصبية تحقّق نتائج مذهلة عملياً — تتقارب نحو حلول جيدة حتى حين يفوق عدد معاملاتها عدد أمثلة التدريب بمراحل — لكن حتى عام 2018 لم يكن هناك إطار نظري صارم يفسّر هذا النجاح. سطح الأمثَلة غير محدّب ومليء بالنقاط السرجية والنهايات الصغرى المحلية، ومع ذلك تصل تهيئات عشوائية مختلفة إلى أداء متقارب بثبات ملحوظ. لماذا لا تنحصر هذه الشبكات في حلول سيئة؟ ولماذا تُعمِّم على بيانات لم ترها بدلاً من حفظ بيانات التدريب حرفياً؟

الإسهام

أثبتت الورقة أن الشبكة العصبية المُدرَّبة يمكن وصفها عبر نواة — نواة المماس العصبية — تُعرَّف بالجداء الداخلي لتدرّجات معاملات الشبكة. والمفاجأة أنه عند أخذ نهاية العرض اللانهائي، تتقارب هذه النواة نحو كائن حتمي ثابت لا يتغيّر طوال التدريب. بهذا تتحوّل مسألة الأمثَلة غير المحدبة المستعصية إلى انحدار نواتي مفهوم نظرياً، مما وفّر أول إطار رياضي صارم لدراسة التقارب (عبر كون النواة موجبة التعريف) في الشبكات العميقة.

الأثر

أطلقت هذه الورقة النظرية الحديثة للشبكات العصبية مفرطة المعايرة. أوضحت أن الشبكات ذات العرض اللانهائي المُدرَّبة بالانحدار التدريجي تُكافئ آلات نواتية، مما فتح الباب لإثبات ضمانات رياضية للتقارب. وامتدّ أثرها مباشرة إلى دراسة ظاهرة الانحدار المزدوج، وتطوير معايرة التحديث القصوى (µP) لنقل المعاملات الفائقة بين أحجام مختلفة من النماذج، وإلى الفهم الأعمق لمتى ولماذا تخرج الشبكات العصبية من نظام «» لتبدأ فعلاً في تعلّم سمات مفيدة.

تخيّل مصنعاً ضخماً فيه ملايين التروس والمكابس المتحركة. محاولة فهم حركة كل قطعة على حدة تبدو مهمة مستحيلة. لكن ورقة نواة المماس العصبية اكتشفت شيئاً مدهشاً: إذا جعلت هذا المصنع كبيراً بلا حدود، فإن كل تلك القطع تتناغم تلقائياً في إيقاع واحد منتظم — وكأنها جميعاً تتبع بندولاً واحداً.

عندئذٍ تتغيّر مخرجات المصنع بسلاسة يمكن التنبؤ بها، يحكمها كائن رياضي واحد ثابت (النواة)، ويصبح بإمكانك أن تُثبت رياضياً أن خط الإنتاج سيصل حتماً إلى الهدف المطلوب. هذا «البندول» هو نواة المماس العصبية — تأخذ عملية أمثَلة فوضوية وتحوّلها إلى مسار واضح يمكنك تتبّعه خطوة بخطوة.

اللغز: لماذا ينجح التدريب أصلاً؟

حين يكون عدد في الشبكة أكبر من عدد أمثلة التدريب، تستطيع الشبكة نظرياً حفظ أي شيء — فهناك عدد لانهائي من الحلول التي تطابق البيانات تماماً. المنطق الإحصائي التقليدي يقول إن نموذجاً كهذا سيقع حتماً في ويفشل على بيانات جديدة. لكن ما نراه عملياً هو العكس: الشبكات الكبيرة تُعمِّم بشكل ممتاز.

والأمر أعقد من ذلك: غير محدب، مليء بـ و. ولا يملك الانحدار التدريجي أي ضمان نظري بالوصول إلى . ومع ذلك، حين تُشغّل التدريب عدة مرات بتهيئات عشوائية مختلفة، تصل في كل مرة إلى خسارة منخفضة ومتقاربة. هناك إذن شيء أعمق يحدث لا تستطيع النظرية التقليدية تفسيره.

السؤال الذي طرحته ورقة نواة المماس العصبية كان: ماذا لو استطعنا تبسيط ديناميكيات التدريب؟ والبصيرة المفتاحية كانت أن ندرس ما يحدث حين يصبح عرض الشبكة لانهائياً.

افتح في المختبر
اسحب شريط العرض لترى كيف تزداد نعومة سطح الخسارة مع توسيع الشبكة. عند العرض اللانهائي، تتقارب جميع التهيئات نحو النهاية الصغرى الشاملة نفسها.
تستيقظ التجربة عند وصولك…

ما هي نواة المماس العصبية؟

لنبدأ بسؤال بسيط يقودنا مباشرة إلى جوهر الفكرة: حين نُحدِّث معاملات الشبكة بناءً على مثال تدريب واحد، كيف يتأثر تنبّؤ الشبكة على بقية الأمثلة؟

لنأخذ شبكة f(x;θ)f(\mathbf{x}; \theta) بمعاملات θ\theta. إذا استخدمنا الانحدار التدريجي بـ متناهي الصغر، يتطوّر مخرج الشبكة وفق المعادلة:

df(x)dt=−η∑i∇θf(x)⊤∇θf(xi)⋅∇fℓi\frac{df(\mathbf{x})}{dt} = -\eta \sum_{i} \nabla_\theta f(\mathbf{x})^\top \nabla_\theta f(\mathbf{x}_i) \cdot \nabla_f \ell_i

الحدّ ∇θf(x)⊤∇θf(xi)\nabla_\theta f(\mathbf{x})^\top \nabla_\theta f(\mathbf{x}_i) هو تحديداً ما نسمّيه K(x,xi)K(\mathbf{x}, \mathbf{x}_i). هذه النواة تقيس مدى «تَوافق» التدرّجات عند مدخلَين مختلفَين — فإذا كان تحديث المعاملات بناءً على xi\mathbf{x}_i يدفع أيضاً تنبّؤ الشبكة عند x\mathbf{x} نحو الإجابة الصحيحة، نقول إن هذين المدخلَين «متشابهان نواتياً».

الأمر أشبه بإلقاء حجر في بركة ماء: نقطة سقوط الحجر (التدريب على مثال واحد) تُحدث موجات تنتشر إلى نقاط أخرى (تؤثر على تنبؤات أخرى). وما تفعله نواة المماس العصبية هو أنها تصف بدقة كيف تنتشر هذه الموجات وما مداها.

K(x,x′)=∇θf(x;θ)⊤∇θf(x′;θ)=∑p=1P∂f(x)∂θp∂f(x′)∂θpK(\mathbf{x}, \mathbf{x}') = \nabla_\theta f(\mathbf{x};\theta)^\top \nabla_\theta f(\mathbf{x}';\theta) = \sum_{p=1}^{P} \frac{\partial f(\mathbf{x})}{\partial \theta_p} \frac{\partial f(\mathbf{x}')}{\partial \theta_p}
نواة المماس العصبية — الجداء الداخلي لتدرّجات المعاملات — كل معامل يُسهم بحدٍّ واحد في هذا المجموع. قيمة النواة تعكس مدى ارتباط إشارة التعلّم بين مدخلَين. حين تكون K كبيرة، يعني ذلك أن التدريب على x يُحسّن التنبؤ عند x′ أيضاً.
افتح في المختبر
انقر على نقطة تدريب «للتدريب» عليها. لاحظ كيف يتغيّر سطح التنبؤ في كل مكان — نواة المماس العصبية هي التي تتحكّم في شكل هذا التأثير ومداه.
تستيقظ التجربة عند وصولك…

معجزة العرض اللانهائي: نواة مُجمَّدة

في الشبكات ذات العرض المحدود، تتغيّر نواة المماس العصبية أثناء التدريب — فكلّما تحرّكت المعاملات تغيّرت التدرّجات ومعها النواة. وهذا ما يجعل التحليل الرياضي مستعصياً.

هنا يأتي الاختراق الحقيقي: أثبت جاكو وزملاؤه أنه حين يميل عرض كل n1,n2,…,nL→∞n_1, n_2, \ldots, n_L \to \infty، يحدث أمران استثنائيان:

  • النواة تصبح حتمية عند التهيئة. تتقارب نواة المماس العصبية نحو نواة ثابتة تعتمد فقط على البنية المعمارية (العمق، ، تباين ) — ولا علاقة لها بالتهيئة العشوائية المحددة. السبب هو : كل عنصر في مصفوفة النواة يصبح مجموعاً لعدد هائل من الحدود المستقلة، فتنمحي العشوائية تماماً.

  • النواة تبقى ثابتة أثناء التدريب. كل معامل يتحرّك بمقدار ضئيل جداً مقارنة بحجمه الكلي، فلا تكاد النواة تتغيّر طوال عملية التدريب. عندها تصبح ديناميكيات التدريب خطّية — أي مكافئة لـ بهذه النواة الثابتة.

هذه هي نهاية العرض اللانهائي: الفوضوية غير المحدبة تتحوّل إلى نظام خطي مفهوم يمكن حلّه بصيغة مغلقة في حالة التربيعية.

افتح في المختبر
شاهد كيف تتحلّل البواقي على طول المتجهات الذاتية لنواة المماس العصبية. القيم الذاتية الكبيرة تُتعلَّم بسرعة، والصغيرة تتعلّم ببطء. التقارب مضمون حين تكون جميع القيم الذاتية موجبة.
تستيقظ التجربة عند وصولك…

الصلة بالعمليات الغاوسية

نتيجة نواة المماس العصبية تبني على اكتشاف سابق مهم: عند التهيئة، مخرجات الشبكة ذات العرض اللانهائي تسلك سلوك . أظهر نيل (1994) هذا أولاً لشبكات الطبقة الواحدة، ثم وسّعه لي وبهري وآخرون (2018) للشبكات العميقة.

الفكرة أنيقة وبسيطة في جوهرها: ما قبل تنشيط كل عُصبون هو مجموع مرجّح لعدد كبير من حدود عشوائية مستقلة. بموجب مبرهنة النهاية المركزية، يتقارب هذا المجموع نحو توزيع غاوسي. والتغاير بين المخرجات عند مدخلَين يُحسَب بشكل تراجعي طبقةً بطبقة، وهو ما يُنتج نواة العملية الغاوسية للشبكات العصبية (NNGP).

لكن نواة المماس العصبية تذهب أبعد من ذلك. فهي لا تكتفي بوصف المخرجات الأولية عند التهيئة، بل تُثبت أن ديناميكيات التدريب نفسها محكومة بنواة. وتُبنى نواة المماس العصبية عند الطبقة L+1L+1 تراجعياً انطلاقاً من الطبقة LL:

K(L+1)=Σ(L+1)+K(L)⋅Σ˙(L+1)K^{(L+1)} = \Sigma^{(L+1)} + K^{(L)} \cdot \dot{\Sigma}^{(L+1)}

حيث Σ(L+1)\Sigma^{(L+1)} هي تغاير NNGP وΣ˙(L+1)\dot{\Sigma}^{(L+1)} تتضمن مشتقة دالة التنشيط. كل طبقة تُضيف إسهامها الخاص في النواة، فيتشكّل تسلسل هرمي من مقاييس التشابه يزداد ثراءً مع العمق.

Σ(l+1)(x,x′)=Ef∼N(0,Λ(l))[σ(f(x))⋅σ(f(x′))]+β2\Sigma^{(l+1)}(\mathbf{x}, \mathbf{x}') = \mathbb{E}_{f \sim \mathcal{N}(0, \Lambda^{(l)})}[\sigma(f(\mathbf{x})) \cdot \sigma(f(\mathbf{x}'))] + \beta^2
تغاير NNGP التراجعي — كل طبقة تُحوِّل مقياس التشابه — بدءاً من الجداء الداخلي للمدخلات Σ⁽¹⁾ = x·x′/n₀ + β²، تمرّر كل طبقة لاحقة التغاير عبر العزم الثاني لدالة التنشيط. هذه اللاخطية تخلق في كل عمق مفهوماً جديداً وأغنى للتشابه بين المدخلات.
افتح في المختبر
تنقّل بين الطبقات لترى كيف تُبنى مصفوفة نواة المماس العصبية طبقة بعد طبقة. كل طبقة تحوّل مفهوم التشابه بين المدخلات وتُغنيه.
تستيقظ التجربة عند وصولك…

التدريب الكسول: حين تكاد المعاملات لا تتحرّك

ثبات نواة المماس العصبية مرتبط ارتباطاً وثيقاً بظاهرة تُعرف بـالتدريب الكسول (شيزا وآخرون، 2019). في نظام العرض اللانهائي، يكون عدد المعاملات هائلاً لدرجة أن كل معامل لا يحتاج إلا لتغيير متناهي الصغر حتى تتمكّن المعاملات مجتمعةً من مطابقة بيانات التدريب.

من الناحية الرسمية، يصبح النموذج الخطّي — أي من الرتبة الأولى حول نقطة التهيئة — وصفاً دقيقاً تماماً لعملية التدريب:

flin(θ(t))=f(θ0)+∇θf(θ0)⋅(θ(t)−θ0)f^{\text{lin}}(\theta(t)) = f(\theta_0) + \nabla_\theta f(\theta_0) \cdot (\theta(t) - \theta_0)

وبما أن الفرق θ(t)−θ0\theta(t) - \theta_0 يبقى صغيراً، فإن ∇θf\nabla_\theta f بالكاد يتغيّر، وبالتالي تظل نواة المماس العصبية K=J⊤JK = J^\top J ثابتة تقريباً. الشبكة تتصرّف فعلياً كنموذج خطي في فضاء سمات عالي الأبعاد، يُحدَّد بسمات التدرّج ∇θf(x;θ0)\nabla_\theta f(\mathbf{x}; \theta_0).

وهنا تكمن قوة هذا النظام وقيده في آنٍ واحد. القوة: كل شيء يصبح قابلاً للتحليل الرياضي الدقيق. القيد: نواة مجمّدة تعني غياب — الشبكة لا تكتشف تمثيلات جديدة تتجاوز ما رمّزته التهيئة العشوائية. الشبكات الحقيقية ذات العرض العملي تتعلّم سمات فعلاً وتتفوّق على أي ثابتة، ولذلك فإن نظرية نواة المماس العصبية تصف نقطة الانطلاق لا الصورة الكاملة.

افتح في المختبر
قارن بين النظامين: في النظام الكسول (يساراً) تبقى سمات التدرّج ثابتة، بينما في نظام تعلّم السمات (يميناً) تكتشف الشبكة تمثيلات جديدة أثناء التدريب.
تستيقظ التجربة عند وصولك…

الفكرة ذاتها في شيفرة برمجية

حساب نواة المماس العصبية التجريبية لشبكة بطبقتينpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def relu(x):
    return np.maximum(0, x)

def relu_deriv(x):
    return (x > 0).astype(float)

def empirical_ntk(X, W1, b1, W2):
    """حساب نواة المماس العصبية التجريبية لشبكة ReLU بطبقتين.
    X: (عدد_العيّنات, d_in), W1: (d_in, العرض), b1: (العرض,), W2: (العرض, 1)
    تُعيد: مصفوفة نواة (عدد_العيّنات, عدد_العيّنات)."""
    h = relu(X @ W1 + b1)                    # التنشيطات المخفية: (n, العرض)
    # اليعقوبي بالنسبة لـ W2: dF/dW2 = h
    J_W2 = h                                  # (n, العرض)
    # اليعقوبي بالنسبة لـ W1: قاعدة السلسلة عبر ReLU
    mask = relu_deriv(X @ W1 + b1)            # (n, العرض)
    # لكل عيّنة i, dF/dW1[i] هو الجداء الخارجي لـ(x_i, mask_i * W2.T)
    # بعد التسطيح: (n, d_in * العرض)
    J_W1 = (X[:, :, None] * (mask * W2.T)[None, :, :]).reshape(X.shape[0], -1)
    # اليعقوبي الكامل ونواة المماس العصبية
    J = np.concatenate([J_W1, J_W2], axis=1)  # (n, إجمالي_المعاملات)
    K = J @ J.T                               # نواة المماس العصبية: (n, n)
    return K

# تهيئة شبكة عريضة
np.random.seed(42)
width = 2048
X = np.random.randn(5, 3)                     # 5 عيّنات، 3 سمات
W1 = np.random.randn(3, width) / np.sqrt(3)   # معايرة NTK
b1 = np.zeros(width)
W2 = np.random.randn(width, 1) / np.sqrt(width)

K = empirical_ntk(X, W1, b1, W2)
print("مصفوفة NTK (5×5):\n", np.round(K, 2))
print("هل جميع القيم الذاتية موجبة؟", np.all(np.linalg.eigvalsh(K) > 0))

التقارب والتعميم

تُقدّم نظرية نواة المماس العصبية ضمانتين أساسيتين:

التقارب. حين تكون النواة الحدّية K∞K_\infty موجبة التعريف على مجموعة التدريب، يدفع الانحدار التدريجي خسارة التدريب نحو الصفر بسرعة أُسِّيّة. كيف؟ نحلّل البواقي (الفرق بين التنبؤات والأهداف) على لـK∞K_\infty، فيتلاشى كل مُركَّب بمعدل يتناسب مع المقابلة. المركّبات المحاذية للمتجهات الذاتية الكبرى (الاتجاهات «السهلة» في فضاء الدوال) تُتعلَّم أولاً، أما المحاذية للمتجهات الذاتية الصغرى (الاتجاهات «الصعبة») فتستغرق وقتاً أطول.

التعميم. يُبيّن إطار نواة المماس العصبية أن الشبكات ذات العرض اللانهائي تُعمِّم تماماً كالآلات النواتية: التنبؤ على مدخل جديد هو تركيب مرجّح لملصقات التدريب، بأوزان تحدّدها النواة. وخصائص النعومة في النواة — التي يعكسها معدل تناقص قيمها الذاتية — تُحدّد التعقيد الفعلي للدالة المُتعلَّمة، مما يوفّر شكلاً طبيعياً من التنظيم الضمني حتى بدون صريح أو .

f(θ(t))=Y+(f(θ0)−Y) e−ηK∞tf(\theta(t)) = \mathcal{Y} + (f(\theta_0) - \mathcal{Y}) \, e^{-\eta K_\infty t}
الحل بصيغة مغلقة لخسارة الخطأ التربيعي في نظام نواة المماس العصبية — تنبؤات التدريب تتقارب أُسِّيًّا نحو القيم المستهدفة. المعدل تتحكّم فيه القيم الذاتية لنواة المماس العصبية — الكبيرة منها تتعلّم بسرعة والصغيرة تتعلّم ببطء، لكن جميعها تتقارب في نهاية المطاف.

كيف تُشكِّل البنية المعمارية نواةَ المماس العصبية

من أهم ما يكشفه إطار نواة المماس العصبية أن البنية المعمارية هي التي تحدّد شكل النواة، والنواة بدورها تحدّد ما تستطيع الشبكة تعلّمه. خيارات التصميم المختلفة تُنتج نوى مماس عصبية مختلفة:

  • العمق. الشبكات الأعمق تُنتج نوى ذات بنية أغنى، لكن يظهر نظامان متطرفان. في النظام المنتظم (نظام التجمّد)، تصبح النواة شبه ثابتة لجميع المدخلات — أي أن الشبكة «ترى» مدخلات مختلفة وكأنها متطابقة، مما يُضعف التعميم. وفي النظام الفوضوي، تقترب النواة من دلتا كرونيكر — فترى الشبكة كل مدخلَين مختلفَين وكأنهما بلا أي تشابه، وهذا قد يُسرّع التدريب لكنه يُضعف التعميم أيضاً.

  • دالة التنشيط. اختيار اللاخطية (ReLU أو tanh أو غيرهما) يحدّد مباشرةً «العزم الثاني» في الصيغة التراجعية، فيُغيّر الطريقة التي يتحوّل بها التشابه بين المدخلات من طبقة إلى أخرى.

  • تباين التهيئة. النسبة σw2/nl\sigma_w^2 / n_l تتحكّم في ما إذا كانت الشبكة تعمل في النظام المنتظم أو الفوضوي. وغالباً ما يكون أفضل أداء عند — أي الحد الفاصل بين النظامين.

افتح في المختبر
اضبط العمق وتباين التهيئة لاستكشاف الانتقال من النظام المنتظم إلى حافة الفوضى فالنظام الفوضوي. لاحظ كيف تتغيّر الخريطة الحرارية للنواة جذرياً بين نظام وآخر.
تستيقظ التجربة عند وصولك…

لماذا غيّرت كل شيء

  1. 2018

    نشر ورقة نواة المماس العصبية

    قدّم جاكو وغابرييل وهونغلر نواة المماس العصبية في مؤتمر NeurIPS، وأثبتوا أنها تتقارب نحو نواة حتمية ثابتة عند أخذ نهاية العرض اللانهائي.

  2. 2019

    صياغة مفهوم التدريب الكسول

    صاغ شيزا وآخرون مصطلح «التدريب الكسول» لوصف النظام الذي تبقى فيه نواة المماس العصبية ثابتة تقريباً، وبيّنوا أنه ينشأ كنتيجة طبيعية للإفراط في المعايرة.

  3. 2019

    الشبكات العريضة تتطوّر كنماذج خطية

    أظهر لي وشياو وآخرون أن الشبكات العريضة بأي عمق تتطوّر بالضبط كنماذج خطية تحت الانحدار التدريجي، مما أكمل الصورة النظرية.

  4. 2020

    اكتشاف ظاهرة الانحدار المزدوج

    ساعد إطار نواة المماس العصبية في تفسير ظاهرة محيّرة: لماذا ينخفض خطأ الاختبار مجدداً بعد تجاوز عتبة الاستكمال؟ هذا هو منحنى «الانحدار المزدوج» الذي يناقض الحدس التقليدي للمقايضة بين الانحياز والتباين.

  5. 2021

    معايرة µP لنقل المعاملات الفائقة

    طوّر يانغ وهو معايرة التحديث القصوى (µP) بناءً مباشراً على نظرية نواة المماس العصبية، مما أتاح نقل المعاملات الفائقة بين نماذج ذات أعراض مختلفة.

  6. 2022

    تصحيحات العرض المحدود

    طوّر باحثون تصحيحات اضطرابية لنظرية نواة المماس العصبية تصف كيف تُنتج تأثيرات العرض المحدود تعلّماً فعلياً للسمات، مما قلّص الفجوة بين النظرية والتطبيق العملي.

لم تمنحنا نواة المماس العصبية مبرهنة رياضية فحسب — بل منحتنا لغة مشتركة لمناقشة ديناميكيات تدريب الشبكات العصبية. مفاهيم مثل «التدريب الكسول مقابل نظام تعلّم السمات»، و«محاذاة النواة»، و«» — كلها تعود إلى هذا العمل التأسيسي. وكل تقدّم نظري في فهم لماذا تنجح النماذج الكبيرة — من ظاهرة الانحدار المزدوج إلى — يقف على الجسر الذي بنته نواة المماس العصبية بين الطرائق النواتية و.

المرجعJacot, Gabriel, Hongler. Neural Tangent Kernel: Convergence and Generalization in Neural Networks. NeurIPS, 2018.

مصطلحات هذه الورقة