كشف الرموز المُستبدَلة

مهمة تدريب مسبق تمييزية يقوم فيها النموذج بفحص كل رمز في التسلسل وتحديد ما إذا كان الرمز الأصلي أم أنه استُبدل برمز مُولَّد. على عكس نمذجة اللغة المُقنَّعة التي تحسب الخسارة على 15% فقط، يحسب كشف الرموز المُستبدَلة الخسارة على 100% من المواضع.

A discriminative pre-training task where the model examines every token in the sequence and determines whether it is the original token or a generator-produced replacement. Unlike masked language modeling which computes loss on only 15%, RTD computes loss on 100% of positions.