الانتباه المتناثر
Sparse Attention
آلية انتباه مخصصة تحسب الارتباطات بين كلمات منتقاة وفارقة فقط بدلاً من حساب كامل المصفوفة الكثيفة المجهدة للذاكرة.
Sparse Attention
تُرجم أيضاًالتركيز السياقي الانتقائي المختزل، حساب الروابط غير الكثيفة للرموز
أول ظهور في هذه المجموعة: النماذج اللغوية قادرة على التعلّم بأمثلة قليلة (2020)
يظهر في هذه الأوراق
- DALL·E: توليد الصور من النصوص بدون أمثلة2021في السماء ✦
- DALL·E: توليد الصور من النصوص بدون أمثلة2021في السماء ✦
- النماذج اللغوية قادرة على التعلّم بأمثلة قليلة2020في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦