BART

نموذج تسلسل إلى تسلسل من فيسبوك يجمع مُرمِّز بيرت ثنائي الاتجاه مع مفكِّك ترميز جي بي تي انحداري، ويُدرَّب مسبقاً بإعادة بناء نص أُفسد عمداً.

A sequence-to-sequence model from Facebook combining a bidirectional BERT-style encoder with a GPT-style autoregressive decoder, pre-trained by reconstructing text that has been deliberately corrupted.