Distillation Token

رمز قابل للتعلّم يُلحق بتسلسل المدخلات في محوِّل الرؤية بجانب رمز التصنيف. يتفاعل مع جميع الرموز الأخرى عبر الانتباه الذاتي، ويُدرَّب على إعادة إنتاج تنبؤ المعلم بدلاً من المعنونة الحقيقية، مما يدمج إشارة التقطير في البنية الداخلية للمحوِّل.

A learnable token appended to the input sequence of a vision transformer alongside the class token. It interacts with all other tokens via self-attention and is trained to reproduce the teacher's prediction instead of the true label, integrating the distillation signal into the transformer's internal processing.