فقد التقطير

تباعد KL بين مخرجات المعلم والطالب المرنة (عند حرارة مرتفعة)، يُضرب في T² لتعويض تقلص التدرجات.

The KL divergence between teacher and student soft outputs (at elevated temperature), multiplied by T² to compensate for gradient magnitude reduction.