التدريب بالدقة المختلطة

تقنية تدريب تُجرى فيها معظم العمليات بأنواع فاصلة عائمة قصيرة (FP16 أو BF16) مع الاحتفاظ بنسخة رئيسية من الأوزان وتدرّج الخسارة بدقة FP32، وتُستخدم قياس الخسارة لتفادي الفيض، فتُقلِّص الذاكرة والوقت مع الحفاظ على الدقة النهائية.

A training technique in which most operations run in short floating-point types (FP16 or BF16) while a master copy of the weights and the loss gradient are kept in FP32, with loss scaling to avoid underflow, cutting memory and time while preserving final accuracy.