تضمين الوحدات اللغوية
Token Embedding
الصياغة المتجهة لكل كلمة أو رمز وتحويله إلى موقع محدد في الفضاء الدلالي الرقمي.
Token Embedding
تُرجم أيضاًالتمثيل الشعاعي للكلمات، التضمين الرقمي للمفردات
أول ظهور في هذه المجموعة: BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة (2018)
يظهر في هذه الأوراق
- BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة2018في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- تدريب محوِّلات الصور الكفوءة بيانياً والتقطير عبر الانتباه2021في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- GLIDE: توليد صور واقعية وتحريرها باستخدام نماذج انتشار موجَّهة بالنص2021في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦