Pretrain-Finetune Discrepancy

مشكلة تنشأ عندما يختلف توزيع البيانات بين مرحلة التدريب المسبق ومرحلة الضبط الدقيق. في BERT تنتج من ظهور رموز [MASK] أثناء التدريب واختفائها أثناء الاستخدام.

A problem that arises when the data distribution differs between pretraining and fine-tuning phases. In BERT, it results from [MASK] tokens appearing during training but being absent during downstream use.