أمثَلة الشبكات العصبية بتقريب الانحناء عبر تحليل كرونيكر

نزول التدرُّج المعياري يبحث عن الاتجاه الذي يُنقص الخسارة بأسرع ما يمكن، لكنه يقيس المسافات في الفضاء الإقليدي العادي. المشكلة أنّ خطوة بمقدار 0.01 في الفضاء الإقليدي تبدو واحدة في كل الاتجاهات، بينما أثرها على سطح الخسارة يختلف جذرياً: في اتجاه جدار وادٍ حاد قد تقذفك هذه الخطوة خارج الوادي كلياً، وعلى أرضية الوادي بالكاد تُحدث فرقاً.

جوهر المشكلة هو الانحناء — أي مدى سرعة تغيُّر التدرُّج نفسه من نقطة لأخرى — وهذا الانحناء يتفاوت تفاوتاً هائلاً بين اتجاهات المعاملات المختلفة. أساليب الرتبة الأولى لا ترى هذا الانحناء أصلاً، فيضطر الممارس إلى ضبط معدَّل التعلُّم على أساس الاتجاه الأشدّ انحداراً، وبذلك يُضيّع فرصة التقدّم السريع في بقية الاتجاهات.

اقترح أماري (1998) طريقة تفكير مختلفة: بدلاً من أن نسأل «أيّ تغيير في المعاملات بطول إقليدي ε يُنقص الخسارة أكثر؟»، نسأل «أيّ تغيير يُحرِّك توزيع المخرجات بمقدار لا يتجاوز ε ويُنقص الخسارة أكثر؟» هذا هو مبدأ التدرُّج الطبيعي.

الفكرة عملياً هي استبدال مصفوفة الوحدة في قاعدة التحديث بـمصفوفة معلومات فيشر $F$، التي تقيس مدى حساسية توزيع مخرجات النموذج لتغيُّر كل معامل. فيصبح التحديث:

$\theta_{t+1} = \theta_t - \eta F^{-1} \nabla L(\theta_t)$

حين نضرب التدرُّج بـ$F^{-1}$، نمدّ الخطوة في الاتجاهات المسطّحة (حيث القيم الذاتية لفيشر صغيرة) ونضغطها في الاتجاهات الحادة (حيث القيم الذاتية كبيرة). الأثر النهائي أنّ عملية الأمثَلة تصبح مستقلة عن طريقة صياغة المعاملات — سواء أعدت كتابة الشبكة بمعاملات مختلفة، يظلّ سلوك التدريب هو نفسه.

يمكنك تخيُّل مصفوفة فيشر كمسطرة تقيس المسافات في «فضاء التوزيعات» لا في «فضاء المعاملات». ما يهمّنا فعلاً ليس كم تغيّرت قيم الأوزان بالأرقام، بل كم تغيّر سلوك النموذج. متجها معاملات قد يبدوان متباعدَين بالأرقام لكنّهما يُعطيان تقريباً نفس المخرجات — هذان ينبغي اعتبارهما قريبَين. وبالمقابل، متجهان قريبان رقمياً لكن مخرجاتهما مختلفة تماماً — هذان بعيدان فعلياً. مصفوفة فيشر تُجسِّد هذه الهندسة بالضبط.

يعتمد K-FAC على تقريبين هيكليين لـمصفوفة فيشر:

التقريب الأول — مصفوفة قُطرية كتلية. نفترض أنّ معاملات كل طبقة مستقلة إحصائياً عن الطبقات الأخرى. هذا الافتراض يحوِّل مصفوفة فيشر العملاقة $N \times N$ إلى مصفوفة قُطرية كتلية، كل كتلة فيها تخصّ طبقة واحدة. نعم، نحن نتجاهل التفاعلات بين الطبقات، لكنّها مقايضة معقولة لأنّ الجزء الأكبر من بنية الانحناء يتركّز داخل كل طبقة لا بين الطبقات.

التقريب الثاني — تحليل كرونيكر. لطبقة كاملة الاتصال بـمصفوفة أوزان $W \in \mathbb{R}^{m \times n}$، تكون كتلة فيشر مصفوفة ضخمة بأبعاد $mn \times mn$. K-FAC يقرّبها بـجداء كرونيكر بين مصفوفتين أصغر بكثير: $\hat{F}_\ell \approx A_{\ell-1} \otimes G_\ell$ حيث $A_{\ell-1} = \mathbb{E}[a_{\ell-1} a_{\ell-1}^\top]$ هي مصفوفة التغاير $n \times n$ لمدخلات الطبقة (التنشيطات)، و$G_\ell = \mathbb{E}[g_\ell g_\ell^\top]$ هي مصفوفة التغاير $m \times m$ للتدرُّجات المنتشرة عكسياً.

ما يفعله تحليل كرونيكر عملياً هو افتراض أنّ التنشيطات $a$ والتدرُّجات المنتشرة عكسياً $g$ مستقلة إحصائياً عن بعضها. هذا الافتراض ليس مثالياً، لكنّه يلتقط الجزء الأهم من البنية: مصفوفة $A$ تُخبرنا أيّ سمات المدخلات تُنشَّط معاً، ومصفوفة $G$ تُخبرنا أيّ تدرُّجات المخرجات تتحرّك معاً. جداء كرونيكر بينهما يُجسِّد بطريقة طبيعية كيف تتفاعل ارتباطات المدخلات مع ارتباطات التدرُّجات لتُشكِّل الانحناء الكلّي.

جداء كرونيكر $A \otimes G$ بين مصفوفة $n \times n$ ومصفوفة $m \times m$ يُنتج نظرياً مصفوفة $mn \times mn$ — لكنّ الخبر السارّ أنّك لا تحتاج أبداً لبنائها فعلياً. السرّ كلّه في هذه الهُوية:

$(A \otimes G)^{-1} = A^{-1} \otimes G^{-1}$

بدلاً من عكس مصفوفة واحدة $mn \times mn$ بتكلفة $O(m^3 n^3)$، تعكس كل مصفوفة على حِدة بتكلفة $O(n^3 + m^3)$ فقط. مثال عملي: طبقة بها 512 مدخلاً و256 مخرجاً تحوِّل عملية العكس من مسألة بحجم $131{,}072 \times 131{,}072$ إلى مسألتين بحجم $512 \times 512$ و$256 \times 256$ — أي توفير بعامل يقارب مليار مرة.

لكل طبقة $\ell$ بـمصفوفة أوزان $W_\ell$، يمرّ تحديث K-FAC بثلاث مراحل:

المرحلة الأولى — تجميع الإحصاءات. أثناء التدريب، نحتفظ بمتوسطات متحركة لـمصفوفة تغاير التنشيطات $A_{\ell-1} = \mathbb{E}[a_{\ell-1} a_{\ell-1}^\top]$ ومصفوفة تغاير التدرُّجات $G_\ell = \mathbb{E}[g_\ell g_\ell^\top]$. هذه الإحصاءات تُحسب من التمريرة الأمامية والتمريرة العكسية اللتين نُجريهما أصلاً في SGD — أي بلا عبء حسابي إضافي يُذكر.

المرحلة الثانية — عكس العوامل. على فترات دورية (ليس في كل خطوة)، نعكس $A_{\ell-1}$ و$G_\ell$ كلاًّ على حِدة. كل منهما مصفوفة صغيرة، فالعكس سريع ويمكن تشغيله بشكل لامتزامن على المعالج المركزي بينما تُكمل وحدة الرسوميات التمريرة الأمامية التالية.

المرحلة الثالثة — تطبيق التدرُّج المُشرَّط. تحديث التدرُّج الطبيعي للأوزان المُسطَّحة هو $F^{-1} \text{vec}(\nabla L)$. بفضل هيكل كرونيكر، يتبسّط إلى «شطيرة مصفوفية»: $\Delta W_\ell = G_\ell^{-1} \, (\nabla_{W_\ell} L) \, A_{\ell-1}^{-1}$ وهذا عبارة عن ضربَي مصفوفات فقط — النمط الحسابي نفسه الذي نستخدمه في التمريرة الأمامية.

تقريب فيشر ليس مثالياً، وقد تحتوي عوامل كرونيكر على قيم ذاتية صغيرة جداً تُنتج خطوات تحديث ضخمة وخطيرة. للتعامل مع هذا، يستخدم K-FAC تخميد تيخونوف — إضافة ثابت صغير $\lambda$ على القطر قبل العكس:

$(\hat{F}_\ell + \lambda I)^{-1}$

لكن لو أضفنا $\lambda I$ مباشرة إلى $A \otimes G$، سنُدمِّر هيكل كرونيكر ويعود العكس مُكلفاً. الحل الذكي هو تخميد تيخونوف المُحلَّل: نوزِّع التخميد على العاملين باستخدام معامل موازنة $\pi$:

$(A + \pi\sqrt{\lambda}\,I)^{-1} \otimes (G + \frac{1}{\pi}\sqrt{\lambda}\,I)^{-1}$

نختار $\pi$ بحيث يُقلِّل خطأ التقريب، وبهذا نحافظ على هيكل كرونيكر فتظلّ هُوية العكس الرخيصة صالحة.

تجارب الورقة على مُرمِّزات تلقائية عميقة وشبكات التفافية أظهرت أنّ K-FAC يصل إلى التقارب بعدد تكرارات أقل بكثير من نزول التدرُّج العشوائي مع الزخم — في كثير من الحالات يحقّق نفس مستوى الخسارة بتحديثات أقل بـ3 إلى 10 مرات. صحيح أنّ كل خطوة K-FAC تكلّف عدة أضعاف خطوة SGD بسبب تقدير التغايرات والعكس الدوري، لكنّ المحصلة النهائية بزمن الساعة الفعلي هي تقارب أسرع.

وعلى خلاف أمثَلة هيسيان بلا تكوين — التي كانت أفضل أسلوب من الرتبة الثانية قبل K-FAC — يعمل K-FAC جيداً في البيئات شديدة العشوائية مع دُفعات صغيرة. تقديرات التغاير بالمتوسط المتحرك تُنعِّم الضوضاء بشكل طبيعي، والتخميد المُحلَّل يمنع التقريب من فقدان استقراره.