Replaced Token Detection

مهمة تدريب مسبق تمييزية يقوم فيها النموذج بفحص كل رمز في التسلسل وتحديد ما إذا كان الرمز الأصلي أم أنه استُبدل برمز مُولَّد. على عكس نمذجة اللغة المُقنَّعة التي تحسب الخسارة على 15% فقط، يحسب كشف الرموز المُستبدَلة الخسارة على 100% من المواضع.

A discriminative pre-training task where the model examines every token in the sequence and determines whether it is the original token or a generator-produced replacement. Unlike masked language modeling which computes loss on only 15%, RTD computes loss on 100% of positions.