نمذجة اللغة المُقنَّعة (MLM)
Masked Language Modeling (MLM)
هدف تدريب مسبق يُقنَّع فيه جزء من رموز المدخل ويُطلب من النموذج تنبؤها من السياق المحيط من الاتجاهين.
A pre-training objective where a fraction of input tokens are masked and the model must predict them from the surrounding bidirectional context.
تُرجم أيضاًنمذجة اللغة بالتقنيع، التنبؤ بالرموز المخفية، نمذجة اللغة المُقنَّعة
أول ظهور في هذه المجموعة: BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة (2018)
يظهر في هذه الأوراق
- Atlas: التعلُّم بأمثلة قليلة عبر نماذج لغوية مُعزَّزة بالاسترجاع2023في السماء ✦
- BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة2018في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- MusicLM: توليد الموسيقى من النص2023في السماء ✦
- REALM: التدريب المسبق لنموذج لغوي مُعزَّز بالاسترجاع2020في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦