انتباه النافذة المتحركة
Sliding Window Attention
آلية انتباه تحصر تركيز الكلمة الحالية ضمن نطاق محدد وثابت (نافذة) من المفردات المحيطة بها فقط لتوفير الحوسبة.
Sliding Window Attention
تُرجم أيضاًالتركيز السياقي محدود النطاق النقال، حساب الروابط عبر المدى الموضعي
أول ظهور في هذه المجموعة: Mistral 7B (2023)
يظهر في هذه الأوراق