إلكترا

أسلوب تدريب مسبق للنماذج اللغوية يستبدل نمذجة اللغة المُقنَّعة بمهمة كشف الرموز المُستبدَلة، إذ يُوَلِّد مُوَلِّد صغير رموزاً بديلة ويتدرَّب مُميِّز أكبر على التمييز بين الأصلية والمستبدَلة، فيحقق كفاءة عيّنة أعلى بكثير من بيرت.

A language model pre-training approach that replaces masked language modeling with a replaced-token-detection task: a small generator produces token substitutions and a larger discriminator learns to tell originals from replacements, achieving far higher sample efficiency than BERT.