Text Infilling

استراتيجية تشويش في التدريب المسبق تستبدل مقاطع نصية عشوائية — بأطوال مسحوبة من توزيع بواسون — بقناع واحد [MASK]، مما يُجبر النموذج على التنبؤ بمحتوى المقطع وعدد الرموز المفقودة معاً.

A pre-training corruption strategy that replaces random text spans — with lengths drawn from a Poisson distribution — with a single [MASK] token, forcing the model to predict both the span content and the number of missing tokens.