Self-Distillation

التقطير الذاتي

حالة خاصة من التقطير حيث المعلم والطالب يتشاركان البنية ذاتها، وغالباً يكون المعلم نسخة متوسط متحرك أسّي من الطالب.

A special case of distillation where teacher and student share the same architecture, often with the teacher being an exponential moving average of the student.

Also translated asالتعلم الذاتي بالتقطير

First appears in this corpus in: Emerging Properties in Self-Supervised Vision Transformers (2021)

Appears in these papers

Emerging Properties in Self-Supervised Vision Transformers2021 in the sky ✦
Emerging Properties in Self-Supervised Vision Transformers2021 in the sky ✦