Dynamic Loss Scaling

نهج تكيّفي لتحجيم الخسارة يبدأ بعامل كبير ويُنصّفه عند اكتشاف طفحان، ويُضاعفه بعد عدة خطوات ناجحة متتالية، فيتكيّف تلقائياً مع توزيع التدرّجات.

An adaptive approach to loss scaling that starts with a large factor, halves it on overflow detection, and doubles it after consecutive successful steps, automatically adapting to the gradient distribution.