BEiT

محوِّل بصري مُدرَّب مسبقاً بأسلوب بيرت، إذ تُقنَّع رقع من الصورة ويتعلَّم النموذج التنبؤ برموزها البصرية المنفصلة.

A Vision Transformer pre-trained in a BERT-like fashion by masking image patches and training the model to predict their discrete visual tokens.