عنق الزجاجة الكامن

تصميم معماري يُجبر تدفق المعلومات على المرور عبر تمثيل مدمج أقل أبعاداً من المدخل الأصلي. في Perceiver، مصفوفة كامنة صغيرة (N ≪ M) تمتص المعلومات من المدخل الكبير عبر الانتباه التقاطعي، فيُعالَج كل شيء بعد ذلك في الفضاء المدمج.

An architectural design that forces information flow through a compact representation smaller than the original input. In the Perceiver, a small latent array (N ≪ M) absorbs information from the large input via cross-attention, and all subsequent processing occurs in this compact space.