ظاهرة الهضاب

حالة تعلق فيها عملية التدريب في مناطق مسطّحة من سطح الخسارة حيث يكون التدرج ضئيلاً رغم بُعد النموذج عن الحل الأمثل. التدرج الطبيعي يخفف من حدة هذه الظاهرة.

A situation where training gets stuck in flat regions of the loss surface where the gradient is tiny even though the model is far from optimal. The natural gradient mitigates this phenomenon.