التضمين الموضعي
Positional Embedding
متجهات تضاف للوحدات اللغوية لتزويد نموذج المحول بمعلومات حول ترتيب وموقع الكلمة في الجملة.
Positional Embedding
تُرجم أيضاًصياغة الأبعاد المكانية للرمز، التضمين الرقمي للمواقع، الترميزات الموضعية، تضمينات موضعية
أول ظهور في هذه المجموعة: BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة (2018)
يظهر في هذه الأوراق
- BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة2018في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- خصائص ناشئة في محوِّلات الرؤية ذاتية الإشراف2021في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية قادرة على التعلّم بأمثلة قليلة2020في السماء ✦
- المُرمِّزات التلقائية المُقنَّعة: نماذج رؤية قابلة للتدريج2022في السماء ✦
- سلسلة زمنية تساوي 64 كلمة: التنبؤ طويل المدى باستخدام المحوِّلات2023في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- التعرّف على الكلام بمتانة عالية من خلال إشراف ضعيف على نطاق واسع2022في السماء ✦