إكس إل نت

نموذج لغوي مُدرَّب مسبقاً طوّره يانغ وزملاؤه من كارنيغي ميلون وجوجل، يجمع بين نمذجة اللغة الانحدارية ونمذجة السياق ثنائي الاتجاه عبر تعظيم الأرجحية على جميع تبديلات ترتيب الرموز، فتجاوز بيرت على عدة معايير عند إصداره.

A pre-trained language model developed by Yang and colleagues from Carnegie Mellon and Google that combines autoregressive language modeling with bidirectional context by maximizing the likelihood over all permutations of the token order, outperforming BERT on several benchmarks at the time of release.