انتباه الاستعلام المُجمَّع

آلية انتباه وسيطة بين الانتباه متعدد الرؤوس (حيث لكل رأس استعلام زوج مفتاح-قيمة خاص) والانتباه بالاستعلام الأحادي (حيث يتشارك الجميع زوجاً واحداً). تُقسَم رؤوس الاستعلام إلى مجموعات، كل مجموعة تتشارك زوج مفتاح-قيمة واحداً، مما يوازن بين كفاءة الذاكرة والتعبيرية.

An attention mechanism between multihead (each query head has its own KV pair) and multiquery (all share one KV pair). Query heads are split into groups, each group sharing one KV pair, balancing memory efficiency with expressiveness.