انتباه اختزال التسلسل

آلية انتباه ذاتي فعّالة تختزل طول تسلسل مصفوفتي المفتاح والقيمة بمعامل R قبل حساب الانتباه، فتنخفض التكلفة الحسابية من O(N²) إلى O(N²/R) مع الحفاظ على الانتباه الشامل.

An efficient self-attention mechanism that reduces the sequence length of Key and Value matrices by a factor R before computing attention, lowering computational cost from O(N²) to O(N²/R) while maintaining global attention.