Gradient Underflow

حالة تصبح فيها قيم التدرّجات أصغر من أدنى قيمة يستطيع تنسيق الأعداد العائمة تمثيلها، فتُقرَّب إلى صفر ويفقد النموذج القدرة على التعلّم من تلك التحديثات.

A condition where gradient values fall below the minimum representable value of a floating-point format, getting rounded to zero and causing the model to lose those updates.