بيرت

نموذج لغوي من جوجل قائم على مُرمِّز محوِّل ثنائي الاتجاه، يُدرَّب مسبقاً بمهمتَي نمذجة اللغة المُقنَّعة والتنبؤ بالجملة التالية، ثم يُضبط لمهام لاحقة.

A Google language model based on a bidirectional Transformer encoder, pre-trained with masked language modeling and next-sentence prediction, then fine-tuned for downstream tasks.