كفاءة التدرّج الطبيعي في التعلّم

حين ندرّب شبكة عصبية، نعدّل معاملاتها $\theta$ بهدف تقليل دالة الخسارة $L(\theta)$. الطريقة المعتادة — الانحدار التدريجي — تحسب $\nabla L(\theta)$ وتخطو في الاتجاه المعاكس:

$\theta_{t+1} = \theta_t - \eta \nabla L(\theta_t)$

هذا يفترض ضمنياً أن فضاء المعاملات مسطّح — بمعنى أن خطوة بمقدار $\epsilon$ في أي اتجاه لها التأثير نفسه. لكن الواقع مختلف: في النماذج الاحتمالية (ومنها الشبكات العصبية)، فضاء المعاملات مشعب منحنٍ. تغيير $\theta_1$ بمقدار 0.01 قد لا يُحدث أثراً يُذكر في التوزيع الناتج، بينما تغيير $\theta_2$ بالمقدار ذاته قد يقلب التوقّع رأساً على عقب. التدرّج العادي أعمى عن هذه الهندسة، فيُهدر معظم الخطوة على اتجاهات لا تؤثر، ويُقصّر في الاتجاهات التي تهمّ فعلاً.

ما الذي يترتّب على ذلك عملياً؟ يعلق التدريب على هضاب — مناطق مسطّحة من سطح الخسارة يكاد فيها التدرّج ينعدم رغم أن وادياً أعمق قريب منه. يظل النموذج يزحف لآلاف الخطوات دون تقدّم يُذكر، ثم يهبط فجأة حين يُفلت من الهضبة. هذه الظاهرة حادّة بشكل خاص في شبكات البيرسبترون متعددة الطبقات المدرَّبة بـالانتشار الخلفي.

الرؤية الأساسية لأماري مستمدّة من هندسة المعلومات: فضاء المعاملات في أي نموذج إحصائي ليس سطحاً مستوياً — بل هو مشعب ريماني، وانحناؤه تصفه مصفوفة معلومات فيشر $F(\theta)$.

ما الذي تقيسه هذه المصفوفة تحديداً؟ تقيس مدى حساسية توزيع مخرجات النموذج $p(x; \theta)$ للتغيّرات الطفيفة في كل معامل. من الناحية الرياضية، هي القيمة المتوقعة للجداء الخارجي لدالة النقاط (تدرّج لوغاريتم الأرجحية):

$F(\theta) = \mathbb{E}\left[\nabla \log p(x;\theta) \, \nabla \log p(x;\theta)^\top\right]$

تصوّر $F(\theta)$ كـمسطرة محلية تقيس المسافة «الحقيقية» بين ضبطين متجاورين للمعاملات — ليس بوحدات عددية على محور المعاملات، بل بمقدار الفرق الفعلي في توزيع المخرجات. ضبطان يُنتجان توزيعات شبه متطابقة يكونان «قريبين» بهذه المسطرة، حتى لو اختلفت قيمهما العددية اختلافاً كبيراً.

الفكرة بسيطة بمجرد أن تستوعبها: بدلاً من الخطو في اتجاه التدرّج العادي $\nabla L$، نخطو في الاتجاه الذي يُنقص الخسارة بأسرع معدّل لكل وحدة تغيّر في التوزيع. كيف نجد هذا الاتجاه؟ «نُزيل تشوّه» التدرّج بضربه في $F^{-1}$:

فتصبح قاعدة التحديث:

$\theta_{t+1} = \theta_t - \eta \, F(\theta_t)^{-1} \nabla L(\theta_t)$

لاحظ التشابه مع طريقة نيوتن التي تستخدم $H^{-1} \nabla L$ حيث $H$ هي مصفوفة هسّه. الفرق الجوهري أن التدرّج الطبيعي يستبدل هسّه بمصفوفة معلومات فيشر — وهذه دائماً شبه موجبة التعريف (بعكس هسّه التي قد تكون سالبة)، فيبقى التحديث دائماً في اتجاه الهبوط. نحصل إذن على طريقة من الرتبة الثانية مع استقرار مضمون.

لنفترض أنك صغت نموذجاً بمعاملات $\theta$، وجاء زميلك فصاغ النموذج نفسه بمعاملات مختلفة $\phi = g(\theta)$. لو استخدمتما الانحدار التدريجي العادي، سيسلك كلٌّ منكما مساراً مختلفاً تماماً — أي أن أداء التحسين يتوقف على اختيار تسمية اعتباطي لا علاقة له بالنموذج ذاته.

التدرّج الطبيعي لا يتأثر بإعادة التحديد هذه. مهما غيّرت طريقة كتابة المعاملات، يتحرّك التدرّج الطبيعي في الاتجاه نفسه داخل فضاء التوزيعات. بعبارة أخرى: سلوك الخوارزمية يتبع النموذج ذاته، لا الطريقة العرضية التي اخترت بها ترميز المعاملات.

رياضياً، عند التحويل $\phi = g(\theta)$ تتحوّل مصفوفة فيشر كموتّر متري: $F_\phi = J^\top F_\theta J$ حيث $J$ هي المصفوفة اليعقوبية لـ $g$. هذا التحويل يُلغي تماماً أثر تغيّر الإحداثيات في التدرّج، فيبقى التدرّج الطبيعي ثابتاً.

من أقوى النتائج في هذه الورقة أن التعلّم المتّصل بالتدرّج الطبيعي يحقق ما يُعرف بـكفاءة فيشر. ماذا يعني هذا تحديداً؟ يعني أن المقدِّر $\theta_k$ الناتج بعد $k$ تحديث يصل إلى أقل تباين ممكن بين كل المقدِّرات غير المتحيّزة — أي يبلغ حدّ كرامير-راو.

الأثر العملي مذهل: رغم أن التعلّم المتّصل بالتدرّج الطبيعي يمرّ على كل عيّنة مرة واحدة فقط (تماماً كـالانحدار التدريجي العشوائي)، فإنه يستخلص منها معلومات تعادل ما لو جمعنا كل البيانات دفعة واحدة وأجرينا تقدير الأرجحية القصوى. لا توجد خوارزمية متّصلة تتفوّق على ذلك مقاربياً.

الشرط الأساسي لتحقيق ذلك هو معدّل تعلّم متناقص $\eta_t = 1/t$، يستوفي شروط روبنز-مونرو لـالتقارب في التقريب العشوائي.

ظاهرة الهضاب من أكثر ما يُحبط المهندسين عند تدريب شبكات البيرسبترون متعددة الطبقات بـالانتشار الخلفي: تستوي الخسارة لمئات أو آلاف الخطوات رغم أن النموذج لا يزال بعيداً عن أي حدّ أدنى حقيقي.

ما الذي يحدث فعلاً؟ بيّن أماري أن هذه الهضاب تنشأ لأن التدرّج العادي ينكمش في مناطق يكون فيها انحناء فيشر منخفضاً — كأن فضاء المعاملات «ممتد» في تلك المنطقة، فتُقابل تدرّجات صغيرة تغيّرات كبيرة في التوزيع. التدرّج الطبيعي يعوّض عن هذا التمدّد بالضرب في $F^{-1}$، فـ«يُكبّر» الخطوة في الاتجاهات الممتدة.

تصوّر الأمر كقيادة في ضباب كثيف: الانحدار التدريجي العادي يتباطأ لأنه لا يرى أمامه (حجم التدرّج صغير). لكن التدرّج الطبيعي يعرف أن الطريق مستقيم رغم الضباب — فيواصل سرعته لأنه يقيس التقدّم بمقدار تغيّر التوزيع الفعلي، لا بحجم متّجه التدرّج.

طبّق أماري إطار التدرّج الطبيعي على ثلاث مسائل عملية:

شبكات البيرسبترون متعددة الطبقات — في شبكة بـأوزان $W$ ومخرج احتمالي $p(y|x; W)$، تلتقط مصفوفة فيشر التفاعل بين ارتباطات المعاملات وتوزيع البيانات. تحديث التدرّج الطبيعي يفكّ هذه الارتباطات، فيتسارع التقارب وتتقلّص ظاهرة الهضاب.

فصل المصادر الأعمى — لدينا إشارات مختلطة $x = As$ حيث $A$ مصفوفة خلط مجهولة و$s$ مصادر مستقلة. التدرّج الطبيعي على فضاء مصفوفات الفصل $W$ يُنتج تحديثاً أنيقاً: $\Delta W \propto (I + \varphi(y)y^\top) W$ حيث $\varphi$ تنشيط لاخطي. ظهور $W$ في الطرف الأيمن يجعل التحديث متساوي التغاير — يتكيّف تلقائياً مع مقياس الحل الحالي.

إزالة الالتفاف الأعمى — بتعميم الفكرة على الأنظمة الديناميكية الخطية ذات الخلط الالتفافي، يُنتج التدرّج الطبيعي تحديثات بالكفاءة نفسها وبلا حساسية للمقياس.

للتدرّج الطبيعي عقبة عملية واضحة: حساب مصفوفة معلومات فيشر $F(\theta)$ وقلبها. في نموذج بـ $n$ معاملاً، تكون $F$ مصفوفة بحجم $n \times n$، وقلبها يكلّف $O(n^3)$. الشبكات العميقة اليوم تحتوي ملايين أو مليارات المعاملات — فحساب $F^{-1}$ مباشرةً أمر مستحيل عملياً.

وهنا بالذات يبدأ الأثر الأعمق للورقة. هذا التحدي الحوسبي أطلق عقوداً من البحث في تقريبات التدرّج الطبيعي:

• التقريبات القُطرية — نحتفظ فقط بالقطر الرئيسي لـ $F$. هذا في جوهره ما تفعله خوارزميات AdaGrad وRMSProp والعزم الثاني في Adam. حساباتها رخيصة لكنها تُضيّع كل ارتباطات المعاملات.
• التقريبات الكتلية القُطرية — تحسب $F$ داخل كل طبقة على حدة. تلتقط بعض البنية بتكلفة معقولة.
• تقريبات كرونيكر (K-FAC) — يمكن تقريب مصفوفة فيشر لكل طبقة كجداء كرونيكر لمصفوفتين أصغر (واحدة من تنشيطات المدخل وأخرى من تدرّجات المخرج). هذا هو الاختراق الذي جعل التدرّج الطبيعي قابلاً للتطبيق في التعلّم العميق.

هذه الورقة هي السلف المشترك لعائلة كاملة من أساليب التحسين. حين تستوعب هذه الصلة، تتوقف المحسّنات الحديثة عن كونها حِيَلاً متفرّقة وتبدأ في الكشف عن أصلها الواحد:

Adam (2014) — يحتفظ بمتوسطات متحركة للعزم الأول (التدرّج) والعزم الثاني (مربع التدرّج). العزم الثاني يعمل كتقريب قُطري لمصفوفة فيشر، يضبط معدّل التعلّم لكل معامل بحسب حجم تدرّجه التاريخي.

K-FAC (مارتنز وغروس، 2015) — الوريث الأكثر مباشرة. يقرّب مصفوفة فيشر بجداءات كرونيكر ثم يُنفّذ تحديث التدرّج الطبيعي. يحقق تقارباً قريباً من الرتبة الثانية بتكلفة قريبة من الرتبة الأولى.

TRPO (شولمان وآخرون، 2015) — في التعلّم المعزّز، السياسة هي توزيع احتمالي على الأفعال. TRPO تُقيّد تحديثات السياسة بمنطقة ثقة محدّدة عبر معلومات فيشر، بحيث لا يُغيّر أي تحديث السياسة أكثر من اللازم. الفكرة في جوهرها هي التدرّج الطبيعي مع قيد على تباعد كولباك-لايبلر بدلاً من حجم خطوة ثابت.