ديت (DeiT)

محوِّل بصري من فيسبوك دُرِّب على مجموعة إيماج نت وحدها بفضل تعزيزات بيانات قوية ورمز تقطير خاص يتعلم من معلّم التفافي، مما جعل تدريب المحوِّلات البصرية ممكناً دون بيانات ضخمة.

A Facebook Vision Transformer trained on ImageNet alone, made possible by strong data augmentation and a distillation token that learns from a convolutional teacher, showing that ViTs can be trained without massive pre-training data.