الانتباه غير المتماثل

آلية انتباه يأتي فيها الاستعلام (Q) من مصفوفة مختلفة الحجم عن مصفوفة المفتاح (K) والقيمة (V). في Perceiver، Q يأتي من المصفوفة الكامنة الصغيرة (N عنصر) بينما K وV يأتيان من المدخل الكبير (M عنصر)، فتكون مصفوفة الانتباه N × M بدلاً من M × M.

An attention mechanism where the query (Q) comes from an array of different size than the key (K) and value (V) arrays. In the Perceiver, Q comes from the small latent array (N elements) while K and V come from the large input (M elements), making the attention matrix N × M instead of M × M.