الترميز الموضعي
Positional Encoding
قيم رياضية ثابتة أو متعلمة تدمج مع أوزان الرموز لتعريف النموذج بترتيب ومواقع الكلمات.
Positional Encoding
تُرجم أيضاًالتشفير الدلالي للمواقع، ترميز رتبة الرمز
أول ظهور في هذه المجموعة: الانتباه هو كل ما تحتاجه (2017)
يظهر في هذه الأوراق
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- محوِّل القرار: التعلّم المعزَّز عبر نمذجة التسلسلات2021في السماء ✦
- تدريب محوِّلات الصور الكفوءة بيانياً والتقطير عبر الانتباه2021في السماء ✦
- كشف الكائنات من البداية إلى النهاية باستخدام المحوِّلات2020في السماء ✦
- هل المحوِّلات فعّالة في التنبؤ بالسلاسل الزمنية؟2023في السماء ✦
- شبكات الانتباه البيانية2018في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- هل المحوِّلات فعلاً ضعيفة في تمثيل البيانات البيانية؟2021في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- NeRF: تمثيل المشاهد كحقول إشعاع عصبية لتوليف المناظر2020في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- RoFormer: محوِّل مُحسَّن بالتضمين الموضعي الدوراني2021في السماء ✦
- SegFormer: تصميم بسيط وفعّال للتجزئة الدلالية باستخدام المحوِّلات2021في السماء ✦
- تجزئة أي شيء2023في السماء ✦
- استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ2019في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦
- الانتباه هو كل ما تحتاجه2017في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- التعرّف على الكلام بمتانة عالية من خلال إشراف ضعيف على نطاق واسع2022في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦