تشويه النطاقات

هدف تدريب مسبق يحذف نطاقات متصلة من الرموز ويستبدلها برموز حارسة، ثم يُدرَّب النموذج على إعادة بناء النطاقات المحذوفة فقط. أكفأ من تقنيع الرمز المفرد لأن المُخرَج المستهدف أقصر.

A pre-training objective that removes contiguous spans of tokens and replaces them with sentinel tokens, then trains the model to reconstruct only the dropped spans. More efficient than single-token masking because the target output is shorter.