الانتباه المتناثر
Sparse Attention
آلية انتباه مخصصة تحسب الارتباطات بين كلمات منتقاة وفارقة فقط بدلاً من حساب كامل المصفوفة الكثيفة المجهدة للذاكرة.
Sparse Attention
تُرجم أيضاًالتركيز السياقي الانتقائي المختزل، حساب الروابط غير الكثيفة للرموز
أول ظهور في هذه المجموعة: النماذج اللغوية قادرة على التعلّم بأمثلة قليلة (2020)
يظهر في هذه الأوراق