Flat Minima

نقاط حدّ أدنى في سطح الخسارة تكون فيها الخسارة منخفضة ليس عند النقطة الدقيقة فحسب، بل عبر جوار واسع حولها. تُعمّم النماذج التي تتقارب نحو حدود دنيا مسطّحة بشكل أفضل لأنها متينة أمام الاضطرابات الصغيرة في البيانات والمعاملات.

Minimum points in the loss landscape where the loss is low not just at the exact point but across a wide neighborhood around it. Models converging to flat minima generalize better because they are robust to small perturbations in data and parameters.