Master Weights

نسخة كاملة الدقة (FP32) من أوزان النموذج يُحتفَظ بها لتجميع التحديثات الصغيرة بأمان، بينما تُستخدم نسخة مُقرَّبة بصيغة FP16 في التمريرات الأمامية والخلفية.

A full-precision (FP32) copy of model weights kept to safely accumulate small updates, while a rounded FP16 copy is used for forward and backward passes.