Span Corruption

تشويه النطاقات

هدف تدريب مسبق يحذف نطاقات متصلة من الرموز ويستبدلها برموز حارسة، ثم يُدرَّب النموذج على إعادة بناء النطاقات المحذوفة فقط. أكفأ من تقنيع الرمز المفرد لأن المُخرَج المستهدف أقصر.

A pre-training objective that removes contiguous spans of tokens and replaces them with sentinel tokens, then trains the model to reconstruct only the dropped spans. More efficient than single-token masking because the target output is shorter.

Also translated asإفساد النطاقات، حذف النطاقات

First appears in this corpus in: BART: Denoising Sequence-to-Sequence Pre-Training for Natural Language Generation, Translation, and Comprehension (2019)

Appears in these papers

BART: Denoising Sequence-to-Sequence Pre-Training for Natural Language Generation, Translation, and Comprehension2019 in the sky ✦
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer2019 in the sky ✦