الانتباه الخطي

بديل للانتباه القياسي يستبدل softmax بخرائط سمات نوى لتخفيض التعقيد من O(N²) إلى O(N). يتوافق RoPE مع الانتباه الخطي لأنه تحويل ضربي على الاستعلام والمفتاح وليس انحيازاً جمعياً على الدرجة.

An alternative to standard attention that replaces softmax with kernel feature maps to reduce complexity from O(N²) to O(N). RoPE is compatible with linear attention because it is a multiplicative transformation on query and key, not an additive bias on the score.