التقطير الصلب

أسلوب تقطير يُعامَل فيه تنبؤ المعلم الصلب (argmax) كمعنونة حقيقية ثانية. دالة الخسارة هي متوسط الانتروبيا التقاطعية مع المعنونة الحقيقية والانتروبيا التقاطعية مع معنونة المعلم. أبسط من التقطير الناعم وأفضل أداءً بالنسبة للمحوِّلات.

A distillation approach where the teacher's hard prediction (argmax) is treated as a second ground truth. The loss is the average of cross-entropy with the true label and cross-entropy with the teacher's hard label. Simpler and more effective than soft distillation for transformers.