التقطير الناعم

أسلوب التقطير التقليدي الذي يُصغّر تباعد KL بين التوزيعات الاحتمالية الناعمة (softmax) للطالب والمعلم عند درجة حرارة مرتفعة τ، مما يحافظ على بنية العلاقات بين الفئات من المعلم.

The classical distillation approach that minimizes KL divergence between the soft probability distributions (softmax) of student and teacher at elevated temperature τ, preserving the teacher's inter-class relational structure.