Perceiver

بنية عامة من ديب مايند تعالج مدخلات كبيرة الحجم من أي وسيط (صور، صوت، سُحب نقاط، فيديو) بضغطها عبر انتباه متقاطع إلى مصفوفة كامنة صغيرة تعمل عليها طبقات المحوِّل، فتتخطى الانفجار التربيعي للانتباه الذاتي التقليدي.

A general-purpose DeepMind architecture that handles very large inputs from any modality — images, audio, point clouds, video — by compressing them via cross-attention into a small latent array on which Transformer layers operate, sidestepping the quadratic blow-up of standard self-attention.