Window Attention
انتباه النافذة
حساب الانتباه الذاتي داخل نوافذ محلية غير متداخلة بدلاً من خريطة السمات بأكملها، ما يُخفّض التعقيد من تربيعي إلى خطّي في حجم الصورة.
Self-attention computed within non-overlapping local windows instead of the entire feature map, reducing complexity from quadratic to linear in image size.
Also translated asالانتباه القائم على النوافذ، W-MSA
First appears in this corpus in: Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows (2021)
Appears in these papers