ديبيرتا

نموذج لغوي من مايكروسوفت يُحسِّن بيرت وروبيرتا بآليتين: انتباه مُفكَّك يمثّل كل رمز بمتّجهين منفصلين للمحتوى والموضع، ومفكِّك ترميز مُعزَّز يُدمج المواضع المطلقة عند التنبؤ بالرموز المُقنَّعة.

A Microsoft language model that improves on BERT and RoBERTa via two techniques: a disentangled attention mechanism representing each token with separate content and position vectors, and an enhanced mask decoder that incorporates absolute positions when predicting masked tokens.