Loss Scaling

تقنية تضرب قيمة الخسارة بثابت كبير قبل الانتشار الخلفي لإزاحة التدرّجات الصغيرة إلى النطاق الذي يستطيع FP16 تمثيله، ثم تُزيل عامل التحجيم قبل تحديث الأوزان.

A technique that multiplies the loss by a large constant before backpropagation to shift small gradients into FP16's representable range, then removes the scaling factor before the weight update.