السَّمْت

Multimodal & Vision2021متوسط13 دقيقة قراءة

Perceiver: إدراك عام بالانتباه التكراري

Perceiver: General Perception with Iterative Attention

Jaegle, A. · Gimeno, F. · Brock, A. · Zisserman, A. · Vinyals, O. · Carreira, J. — ICML

المشكلة

بحلول عام 2021، كانت نماذج التعلم العميق للإدراك الحسّي محبوسة في نمطيات محددة. الشبكات الالتفافية تستغل البنية الشبكية ثنائية الأبعاد لكنها لا تتعامل مع الصوت أو السُّحب النقطية. المحوِّلات مرنة لكنها تتدرّج تربيعياً مع حجم المدخل — تطبيق على 50,000 بكسل مستحيل حسابياً. كل نمطية جديدة كانت تستدعي بنيةً جديدة، ودمج النمطيات المتعددة يتطلب قرارات هندسية مخصّصة حول متى وكيف تُدمج الإشارات.

الإسهام

Perceiver: بنية واحدة مبنية على تتعامل مع أي نمطية دون انحياز استقرائي خاص بالمجال. الابتكار الجوهري هو عنق زجاجة بالانتباه التقاطعي غير المتماثل يُسقِط المدخلات عالية الأبعاد (M تقارب 50,000) في مصفوفة كامنة مدمجة (N تقارب 512)، فيُخفّض تعقيد الانتباه من O(M²)‏ إلى O(MN)‏. المعالجة العميقة بالمحوِّل تجري بعدها في منخفض الأبعاد بتكلفة O(LN²)‏ فقط. الانتباه التقاطعي التكراري يتيح للنموذج العودة إلى المدخل عدة مرات. تجعل البنية موفّرة في المعاملات ويمكن تفسيرها كشبكة عصبية تكرارية مفرودة في العمق. حقّق Perceiver دقة 78.0% على ImageNet (مُعادِلاً ResNet-50 وViT)، ونتائج تنافسية على AudioSet عبر الصوت والفيديو والنمطيات المتعددة، وأداءً قوياً على السُّحب النقطية في ModelNet40 — كل ذلك بالبنية نفسها تقريباً.

الأثر

أثبت Perceiver أن بنيةً واحدة لا تعتمد على نمطية بعينها تستطيع منافسة النماذج المتخصصة عبر الرؤية والصوت والفيديو والفضاء ثلاثي الأبعاد. أثّر مباشرةً في Perceiver IO (للمخرجات المنظمة) وFlamingo (نماذج اللغة البصرية) وGato (الوكلاء العموميون). أصبح نمط بالانتباه التقاطعي لبنةً معيارية في البنيات متعددة النمطيات، ودفعت الورقة التوجّه الأوسع نحو نماذج تأسيسية عامة الغرض تعالج أي مدخل عبر واجهة موحّدة.

تخيّل ملعباً يضمّ 50,000 مشجّع يصرخون جميعاً في اللحظة نفسها. لو حاولنا بأسلوب المُحوِّل التقليدي أن نُتيح لكل مشجّع أن يسمع كل مشجّع آخر، سنحتاج إلى 2.5 مليار محادثة — أمر غير وارد عملياً.

ما يفعله Perceiver أنه يضع لجنة صغيرة من 512 صحفياً في المقصورة الصحفية. بدل أن يتكلّم المشجعون مع بعضهم، يذهب الصحفيون إلى الجمهور ويستمعون إليه ()، ثم يجتمعون ويتناقشون فيما بينهم (الانتباه الذاتي)، ثم يعودون مرةً أخرى إلى الجمهور لطرح أسئلة متابعة. بعد عدة جولات، تكون اللجنة قد استوعبت كل ما يهمّ.

والأجمل من ذلك أن اللجنة نفسها تعمل بكفاءة بغضّ النظر عمّا يصرخ به الجمهور — سواء كانت قيم بكسلات، أو عيّنات صوتية، أو إحداثيات ثلاثية الأبعاد، أو كل ذلك معاً.

المشكلة: بنية مستقلة لكل نمطية

حتى عام 2021، كان كل نوع من البيانات يحتاج بنيةً مصمَّمة خصيصاً له. مثلاً تستغلّ حقيقة أن الصور منظّمة على شبكة ثنائية الأبعاد: تعتمد على محلية، وتتشارك الأوزان عبر الأبعاد المكانية. هذا مفيد جداً للصور، لكنه بلا معنى حين نتعامل مع موجات صوتية، بل قد يضرّ مع بيانات غير منتظمة كالسُّحب النقطية.

تريد معالجة صور ستيريو؟ عليك أن تقرّر أين تدمج القناتين. تريد الانتقال إلى الصوت؟ استبدل الالتفاف ثنائي الأبعاد بأحادي. فيديو؟ ابنِ بنية ثلاثية الأبعاد. سُحب نقطية من مستشعر ليدار؟ استخدم PointNet. كل نمطية تحتاج بنيتها الخاصة وقراراتها التصميمية وجهدها الهندسي المستقل.

المُحوِّلات قدّمت بديلاً واعداً: لا تفترض الكثير عن بنية المدخل وتستطيع نمذجة العلاقات بين أي زوج من العناصر. لكن الانتباه الذاتي التقليدي يحمل مشكلة جوهرية — تعقيده تربيعي في عدد المدخلات. صورة ImageNet مثلاً فيها 50,176 بكسل، والانتباه الذاتي على هذا العدد يكلّف مليارات العمليات في كل طبقة. لهذا السبب يلجأ محوِّل الرؤية (ViT) إلى تقليص المدخل أولاً إلى نحو 200 رقعة عبر التفاف ثنائي الأبعاد — أي أنه يُهرّب انحيازاً مكانياً خاصاً بالمجال من الباب الخلفي.

افتح في المختبر
كل نمطية كانت تحتاج بنية مختلفة — Perceiver يكسر هذا القيد ببنية واحدة.
تستيقظ التجربة عند وصولك…

الفكرة المحورية: عنق زجاجة بانتباه غير متماثل

الفكرة وراء Perceiver أنيقة في بساطتها. بدل أن تنتبه جميع المدخلات لبعضها (وهو ما يكلّف تربيعياً)، يُنشئ النموذج مجموعة صغيرة من الوحدات الكامنة — مصفوفة مُتعلَّمة تتكوّن من N متجه (عادةً 512) تعمل بوصفها عنق زجاجة للمعلومات. المدخلات لا تتحدث مع بعضها مباشرةً؛ بل تتحدث مع هذه المصفوفة الكامنة، وهي بدورها تتحدث مع نفسها.

يحدث ذلك عبر الانتباه التقاطعي: متجه (Q) يأتي من المصفوفة الكامنة، أمّا المفتاح (K) والقيمة (V) فيأتيان من مصفوفة المدخلات. بما أن Q يحمل N فهرساً فقط بينما K/V يحملان M فهرساً، تصبح مصفوفة بحجم N × M بدلاً من M × M. على صور ImageNet مثلاً، يعني ذلك 512 × 50,176 ≈ 25 مليون عملية عوضاً عن 50,176² ≈ 2.5 مليار. التكلفة تنتقل من تربيعية إلى خطية في M.

تخيّل الأمر كقمع: مدخل عريض يُضغط عبر فوّهة ضيّقة إلى مُدمج. كل المعالجة الثقيلة تحدث بعد مرحلة الضغط، داخل الفضاء الكامن الصغير.

افتح في المختبر
مصفوفة المدخلات (M عنصر) تمرّ عبر عنق الزجاجة الكامن (N عنصر) بالانتباه التقاطعي. جرّب تغيير N وراقب تأثيره على التعقيد الحسابي.
تستيقظ التجربة عند وصولك…

في الانتباه الذاتي المعتاد، يأتي Q وK وV كلّها من المصفوفة نفسها ذات M عنصر، فتكون مصفوفة الانتباه QKᵀ بحجم M × M والعملية بأكملها O(M²)‏. Perceiver يكسر هذا التناظر:

CrossAttn(X,Z)=softmax ⁣(QZ KX⊤D)VX  ,QZ∈RN×D,  KX,VX∈RM×D\text{CrossAttn}(X, Z) = \text{softmax}\!\left(\frac{Q_Z \, K_X^\top}{\sqrt{D}}\right) V_X \;,\quad Q_Z \in \mathbb{R}^{N \times D},\; K_X, V_X \in \mathbb{R}^{M \times D}
الانتباه التقاطعي — Q من المصفوفة الكامنة Z، وK وV من مصفوفة المدخلات X — الاستعلام Q يُستخرَج من المصفوفة الكامنة Z التي تضمّ N فهرس، بينما المفتاح K والقيمة V يُستخرَجان من المدخل X ذي M فهرس. مصفوفة الانتباه الناتجة حجمها N × M، فتكون التكلفة الإجمالية O(MN)‏ بدلاً من O(M²)‏. ولأن N أصغر بكثير من M، فالتوفير هائل. الناتج حجمه N × D — أي بالضبط حجم المصفوفة الكامنة.

البنية الكاملة: انتباه تقاطعي، انتباه ذاتي، تكرار

البنية تتناوب بين وحدتين أساسيتين:

وحدة الانتباه التقاطعي: تأخذ مصفوفة المدخلات عالية الأبعاد وتضغطها إلى المصفوفة الكامنة منخفضة الأبعاد. هذا هو عنق الزجاجة — المصفوفة الكامنة تمتصّ الأجزاء الأكثر أهمية من المدخل وتتجاهل الباقي.

المُحوِّل الكامن: رزمة عميقة من كتل الانتباه الذاتي تعمل بالكامل داخل الفضاء الكامن. ولأن المصفوفة الكامنة صغيرة (N = 512)، فهذه الطبقات رخيصة حسابياً. البنية تستخدم كتل محوِّل بأسلوب GPT-2، وأفضل نموذج على ImageNet يعتمد 6 كتل لكل محوِّل مع 8 تكرارات انتباه تقاطعي — أي 48 كتلة كامنة إجمالاً.

التعقيد الكلي هو O(MN + LN²)‏، حيث L هو عدد طبقات المُحوِّل الكامن. الحدّ الأول يمثّل تكلفة الانتباه التقاطعي (خطّي في M)، والحدّ الثاني يمثّل تكلفة المعالجة الكامنة (مستقلّ تماماً عن M). هذا الفصل هو سرّ قابلية البنية للتوسّع: يمكنك بناء شبكة عميقة جداً دون أن يكون حجم المدخل عاملاً مُقيِّداً.

O(MN⏟cross-attn+LN2⏟latent transformer)vs.O(LM2)  (standard Transformer)\mathcal{O}\bigl(\underbrace{MN}_{\text{cross-attn}} + \underbrace{LN^2}_{\text{latent transformer}}\bigr) \quad \text{vs.} \quad \mathcal{O}(LM^2) \;\text{(standard Transformer)}
تعقيد Perceiver مقابل تعقيد المحوِّل التقليدي — مع M = 50,176 بكسل وN = 512 متجه كامن وL = 48 طبقة: المحوِّل التقليدي يحتاج O(48 × 50,176²) ≈ 1.2 × 10¹¹ عملية. Perceiver يحتاج O(50,176 × 512 + 48 × 512²) ≈ 3.8 × 10⁷ — أرخص بأكثر من 3,000 مرة.
افتح في المختبر
بنية Perceiver: الانتباه التقاطعي يضغط المدخل، ثم المحوِّل الكامن يعالجه، وتتكرّر الدورة عدة مرات.
تستيقظ التجربة عند وصولك…

التنقيح التكراري ومشاركة الأوزان

عنق الزجاجة ضيّق بطبيعته — 512 متجهاً كامناً عليها أن تُلخّص أكثر من 50,000 مدخل. من الطبيعي أن تضيع بعض التفاصيل في جولة واحدة. لذلك يعتمد Perceiver على الانتباه التقاطعي التكراري: بعد أن يعالج المُحوِّل الكامن الملخّص الأوّلي، يرجع النموذج إلى المدخل الكامل ويُنفّذ جولة انتباه تقاطعي جديدة لتنقيح فهمه.

أفضل نموذج على ImageNet يستخدم 8 تكرارات. كل تكرار يمنح المصفوفة الكامنة فرصة إضافية لالتقاط ما فاتها في الجولات السابقة. الصورة الذهنية هنا كصحفي يُراجع ملاحظاته ثم يعود ليطرح أسئلة متابعة — القصة تزداد غنىً مع كل جولة.

من أهم القرارات التصميمية هنا : كل وحدات الانتباه التقاطعي بعد الأولى تشترك في أوزانها، وكل كتل المُحوِّل الكامن كذلك. هذا يُقلّص عدد المعاملات نحو 10 مرات، ويُحوّل البنية عملياً إلى ما يشبه — لكنها مفرودة في بُعد العمق لا في بُعد الزمن. والمفاجأة أن مشاركة الأوزان لا تكتفي بتقليل ، بل ترفع دقة التحقق على ImageNet فعلياً، لأنها تعمل كأداة ضمنية.

افتح في المختبر
لاحظ كيف تتحسّن جودة التمثيل الكامن مع كل جولة انتباه تقاطعي — كلما زادت التكرارات، التقط النموذج تفاصيل أدقّ.
تستيقظ التجربة عند وصولك…

ترميز الموضع: إخبار النموذج بأماكن الأشياء

الانتباه بطبيعته عملية لا تُميّز بين ترتيبات المدخلات — لو بدّلت ترتيب العناصر، ستحصل على النتيجة نفسها. في معالجة اللغة تُحَلّ هذه المسألة بإضافة ترميز موضع تسلسلي بسيط. لكن حين نتعامل مع صور وصوت وفيديو وسُحب نقطية، نحتاج إلى آلية ترميز أغنى.

تعتمد الورقة على ترميز الموضع بسمات فورييه. الفكرة أن كل عنصر في المدخل يُوصف موقعه على كل بُعد d بمجموعة من الدوال الجيبية:

pos(xd)=[sin⁡(fkπxd),  cos⁡(fkπxd)]k=1K,fk∈{1,…,μ2}\text{pos}(x_d) = \bigl[\sin(f_k \pi x_d),\; \cos(f_k \pi x_d)\bigr]_{k=1}^{K}, \quad f_k \in \{1, \ldots, \tfrac{\mu}{2}\}
ترميز الموضع بسمات فورييه — كل بُعد مكاني d يُرمَّز بعدد K من النطاقات الترددية الموزّعة خطياً من 1 إلى μ/2 (تردّد نيكويست عند الدقة μ). النتيجة متجه موضع بحجم d(2K + 1) لكل عنصر. في الصور d = 2 (أفقي وعمودي)، وفي الفيديو d = 3 (أفقي وعمودي وزمني). نقطة مهمة: هذا الترميز يُلحَق بسمات المدخل بالتسلسل (concatenation) ولا يُجمع عليها — على خلاف ترميز الموضع المعتاد في المُحوِّلات.

ما يُميّز هذا التصميم هو عموميّته. للصور تستخدم مواضع ثنائية الأبعاد، للصوت أحادية، للفيديو ثلاثية، وللسُّحب النقطية إحداثيات مكانية ثلاثية. لا حاجة لإعادة تصميم البنية — يكفي أن تُعدّل ترميز الموضع. بل إن الترميز نفسه اختياري: ترميز موضع مُتعلَّم لا يحمل أي معرفة مسبقة عن البنية المكانية يحقّق 70.9% على ImageNet (الجدول 2 في الورقة)، وهذا دليل واضح على أن البنية لا تتّكئ خفيةً على انحيازات استقرائية مكانية.

أما في المدخلات متعددة النمطيات (صوت + فيديو)، فكل نمطية تستخدم ترميز موضع بأبعادها الخاصة، مع مُتعلَّم خاص بالنمطية يُعرّف الشبكة بمصدر كل إشارة.

اختبار التبديل: بنية بلا افتراضات مكانية

لإثبات أن Perceiver لا يتّكئ خفيةً على البنية المكانية، أجرى المؤلفون تجربة بليغة: خلطوا ترتيب البكسلات عشوائياً في كل صور ImageNet (بنمط تبديل واحد مُطبَّق على جميع الصور، بعد حساب سمات الموضع).

النماذج التي تعتمد على التفاف ثنائي الأبعاد انهارت: ResNet-50 هبط من 73.5% إلى 39.4%، وViT هبط من 76.7% إلى 61.7%. السبب واضح: بنياتهما مبنية على فرضية أن البكسلات المتجاورة مكانياً مترابطة — وحين تُخلط البكسلات، تفقد المرشّحات المحلية معناها بالكامل.

Perceiver لم يتأثر إطلاقاً: 78.0% قبل التبديل وبعده. بنيته تُعامل كل مدخل كمجموعة غير مرتبة من متجهات السمات — معلومات الموضع محمولة داخل السمات نفسها، لا مُضمَّنة في هيكل البنية. هذا يجعل Perceiver مناسباً بشكل طبيعي للنمطيات التي لا تملك أصلاً بنية شبكية منتظمة: السُّحب النقطية، ومصفوفات المستشعرات، والبيانات الجزيئية.

افتح في المختبر
اخلط ترتيب البكسلات وشاهد الفرق — الشبكات الالتفافية تنهار بينما Perceiver يصمد. انقر للتجربة.
تستيقظ التجربة عند وصولك…

النتائج: نموذج واحد ونمطيات متعددة

جرى تقييم Perceiver على أربع نمطيات مختلفة بالبنية نفسها تقريباً:

ImageNet (صور): حقّق دقة 78.0% (top-1)، وهي تُعادل ResNet-50 عند 77.6% وViT عند 77.9% — وذلك دون أي التفاف ثنائي الأبعاد. النموذج ينتبه مباشرةً لكامل الـ 50,176 بكسل.

AudioSet (صوت): 38.4 mAP على موجات الصوت الخام (61,440 عيّنة)، مُعادِلاً CNN-14 ومتفوقاً على أغلب نماذج الصوت المتخصصة. الأداء على الطيف الميلي كان مماثلاً (38.4).

AudioSet (فيديو): 25.8 mAP من الفيديو وحده، وهي نتيجة تنافسية مع أحدث ما نُشر.

AudioSet (صوت + فيديو): 43.4 mAP بالصوت الخام، ممّا يُؤكّد فعالية الدمج بين النمطيات. لفتة ذكية في : إسقاط تيّار الفيديو بالكامل عشوائياً باحتمال 30% رفع الأداء 3%، لأنه يمنع النموذج من الاتّكاء المفرط على إشارة الفيديو ذات النطاق الترددي الأعلى.

ModelNet40 (سُحب نقطية): دقة 85.7%، متفوقاً على ViT وResNet المُكيَّفين للسُّحب النقطية، وإن ظلّ دون PointNet++ المتخصص (91.9%) الذي يعتمد سمات هندسية مصمَّمة يدوياً.

افتح في المختبر
أداء Perceiver عبر النمطيات مقارنةً بالنماذج المتخصصة.
تستيقظ التجربة عند وصولك…

خرائط الانتباه: كيف يرى Perceiver

تعرض الورقة خرائط الانتباه التقاطعي عند تكرارات مختلفة، وتكشف عن سلوك لافت. الوحدة الأولى — التي تملك أوزاناً مستقلة — تُنتج خرائط انتباه تُبرز بوضوح بنية الصورة المُدخلة. بعض المتجهات الكامنة تتخصّص تلقائياً في رصد الموضوع الرئيسي (كلب مثلاً)، ويمكن ملاحظة ذلك مباشرةً في نمط .

أمّا التكرارات اللاحقة التي تتشارك الأوزان، فتُظهر أنماطاً مختلفة تماماً: نقوش عالية التردد تشبه الأقمشة المُربّعة، تمسح الصورة بترددات مكانية متنوعة. يبدو أن هذه الأنماط تعكس البنية الفوريّية لترميزات الموضع. والنقطة المهمة أنه رغم تشابه الأنماط العام بين التكرارات، فإن مجموعات البكسلات التي ينتبه إليها النموذج تختلف من تكرار لآخر — أي أنه لا يُعيد قراءة المعلومات نفسها، بل يُنقّح فهمه تدريجياً.

لماذا يهمّ هذا: نحو إدراك عام

يمثّل Perceiver تحوّلاً في فلسفة تصميم بنيات التعلم العميق. الفكرة التقليدية كانت ترميز المعرفة بالمجال في صلب البنية — التفاف ثنائي الأبعاد للصور، أحادي للصوت، نماذج متخصصة للفضاء ثلاثي الأبعاد. Perceiver يقلب هذا المنطق: ينقل المعرفة بالمجال إلى طبقة البيانات (ترميزات الموضع ووسوم النمطية والسمات الخام)، ويُبقي البنية نفسها عامّة تماماً.

هذا التوجّه يتّسق مع ما سمّاه ريتشارد ساتون «الدرس المُرّ» (2019): على المدى الطويل، الأساليب التي تستثمر الحوسبة العامة تتفوّق على تلك التي تستثمر المعرفة البشرية المُصاغة يدوياً. Perceiver لا يتصدّر كل معيار أمام أفضل النماذج المتخصصة، لكنه يُعادلها ببنية واحدة. ومع تصاعد حجم البيانات والحوسبة، يميل النهج العمومي إلى الغلبة.

نمط عنق الزجاجة بـالانتباه التقاطعي أصبح لاحقاً لبنة متكررة: ظهر في Perceiver IO (الذي أضاف مخرجات منظمة عبر انتباه تقاطعي في فاكّ الترميز)، وفي Flamingo (الذي يدمج الرؤية واللغة للإجابة عن أسئلة بصرية)، وفي Gato (وكيل DeepMind العمومي الذي يلعب ويحادث ويتحكّم بروبوتات — كل ذلك بمجموعة أوزان واحدة).

التمرير الأمامي لـ Perceiver (شبه كود بأسلوب PyTorch)python

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

# x: مصفوفة المدخلات [B, M, C]  (مثال: 50176 بكسل × القنوات)
# z: المصفوفة الكامنة المُتعلَّمة [1, N, D] (مثال: 512 × 1024)، تُوزَّع على الدفعة

z = self.latent_array.expand(B, -1, -1)         # [B, N, D]

for i in range(num_iterations):                  # مثال: 8 تكرارات
    # انتباه تقاطعي: الكامن يستعلم من المدخل
    z = cross_attention(q=z, kv=x) + z           # [B, N, D]

    # المحوِّل الكامن: انتباه ذاتي في فضاء صغير
    for block in self.transformer_blocks:         # مثال: 6 كتل
        z = self_attention(z) + z                 # [B, N, D]  O(N²)
        z = feed_forward(z) + z

logits = self.classifier(z.mean(dim=1))           # تجميع متوسط عام → التصنيف

خط الزمن: من المحوِّلات إلى الإدراك العام

  1. 2017

    المحوِّل (فاسواني وآخرون)

    أسّس آلية الانتباه الذاتي لنمذجة التسلسلات. أداء قوي، لكن التعقيد تربيعي في طول التسلسل، والتصميم موجّه أساساً للغة.

  2. 2019

    محوِّل المجموعات (لي وآخرون)

    استخدم الانتباه التقاطعي لإسقاط مجموعات المدخلات الكبيرة إلى مصفوفات أصغر، مُخفّضاً تعقيد الانتباه. سلف مباشر لتصميم عنق الزجاجة في Perceiver.

  3. 2021

    ViT — محوِّل الرؤية

    طبّق المحوِّلات على الصور بتقسيمها إلى رقع 16×16. نتائج مبهرة لكن لا يزال يتطلب خطوة معالجة أولية بالالتفاف ثنائي الأبعاد.

  4. 2021

    Perceiver (هذه الورقة)

    أزال الافتراضات الخاصة بالنمطيات بالكامل. بنية واحدة تتعامل مع الصور والصوت والفيديو والسُّحب النقطية والتوليفات متعددة النمطيات.

  5. 2022

    Perceiver IO

    وسّع Perceiver بإضافة انتباه تقاطعي في فاكّ الترميز لإنتاج مخرجات منظمة (ليس فقط التصنيف)، مما أتاح مهاماً كالتدفق البصري ونمذجة اللغة.

  6. 2022

    Flamingo وGato

    وظّف Flamingo عنق الزجاجة بالانتباه التقاطعي لدمج الرؤية واللغة والإجابة البصرية بأمثلة قليلة. أمّا Gato فاستخدم محوِّلاً واحداً كوكيل عمومي يُنجز أكثر من 600 مهمة. كلاهما يتبنّى فلسفة Perceiver في التعامل مع أي نمطية.

أعمق ما قدّمه Perceiver ليس رقم أداء على معيار ما — بل مبدأ تصميمي. حين تُدمج انحيازات استقرائية خاصة بمجال معيّن في البنية، تحصل على أداء قوي في ذلك المجال لكنك تحبس نفسك فيه. Perceiver أثبت أن نقل هذه المعرفة من البنية إلى البيانات (ترميزات الموضع ووسوم النمطية) يسمح لبنية عامة واحدة بمنافسة النماذج المتخصصة عبر نمطيات مختلفة. ومع تطوّر الذكاء الاصطناعي نحو نماذج تأسيسية ترى وتسمع وتتفاعل مع العالم، يصبح هذا المبدأ ركيزة أساسية.

المرجعJaegle, Gimeno, Brock, Zisserman, Vinyals, Carreira. Perceiver: General Perception with Iterative Attention. ICML, 2021.

مصطلحات هذه الورقة