Deformable Attention

نوع من الانتباه يستعلم مجموعة صغيرة ومُتعلَّمة من المواقع المكانية حول كل نقطة مرجعية بدلاً من الانتباه لجميع المواقع. يُقلّل التكلفة الحسابية من تربيعية إلى خطية مع الحفاظ على القدرة على التقاط السياق المكاني.

An attention variant that queries a small, learned set of spatial positions around each reference point instead of attending to all positions. Reduces computational cost from quadratic to linear while retaining spatial context capture ability.