تقطير المعرفة

تقنية ضغط نماذج قدّمها هينتون وفينيالز ودين، يُدرَّب فيها نموذج «طالب» صغير على محاكاة التوزيعات الاحتمالية اللينة لنموذج «معلِّم» أكبر بدل التسميات الصلبة، فينقل جزءاً كبيراً من دقة المعلم بحجم أصغر بكثير.

A model compression technique introduced by Hinton, Vinyals, and Dean in which a small 'student' network is trained to mimic the soft probability distributions of a larger 'teacher' network rather than the hard labels, transferring much of the teacher's accuracy at a fraction of the size.