المهمة التمهيدية

مهمة مُصطنعة يحلّها النموذج أثناء التدريب المسبق ذاتي الإشراف لتعلم تمثيلات مفيدة. في MAE المهمة هي إعادة بناء الرُّقَع المُقنَّعة، وفي BERT التنبؤ بالكلمات المُقنَّعة.

An artificial task solved by the model during self-supervised pre-training to learn useful representations. In MAE the task is reconstructing masked patches; in BERT it is predicting masked words.