Natural Gradient Descent

أسلوب تحسين من الرتبة الثانية يستخدم معكوس مصفوفة معلومات فيشر لتصحيح اتجاه التدرج وفقاً لهندسة فضاء التوزيعات الاحتمالية، فيكون الانحدار في الاتجاه الأشدّ بالنسبة للتغيُّر الفعلي في التوزيع لا في المعاملات.

A second-order optimization method that multiplies the gradient by the inverse Fisher information matrix to find the steepest descent direction in the space of probability distributions rather than in parameter space.