درجات الانتباه البينية
Attention Score
القيمة الرقمية الناتجة عن ضرب الاستعلام بالمفتاح، وتحدد درجة قوة الارتباط بين الكلمات.
Attention Score
تُرجم أيضاًمقياس قوة الترابط السياقي، معامل التركيز المتبادل
أول ظهور في هذه المجموعة: DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك (2020)
يظهر في هذه الأوراق
- التنبؤ الدقيق ببنية البروتينات باستخدام ألفافولد2021في السماء ✦
- BLOOM: نموذج لغوي متعدد اللغات مفتوح الوصول بـ 176 مليار معامل2022في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- هل المحوِّلات فعلاً ضعيفة في تمثيل البيانات البيانية؟2021في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- محوِّل Swin: محوِّل رؤية هرمي باستخدام النوافذ المُنزاحة2021في السماء ✦