نسبة التقنيع

نسبة رموز أو رُقَع المدخل التي تُخفى أثناء التدريب المسبق ذاتي الإشراف. في MAE تبلغ 75% بينما في BERT تبلغ 15%، لأن الصور أكثر وَفرة مكانية من النص.

The proportion of input tokens or patches hidden during self-supervised pre-training. MAE uses 75% while BERT uses 15%, because images have far more spatial redundancy than text.