Chunked Cross-Attention

آلية انتباه تقاطعي يُقسَّم فيها التسلسل إلى شرائح ثابتة الحجم، بحيث ينتبه كل رمز فقط إلى الجيران المُسترجَعين لشريحته الخاصة، مع إزاحة نافذة الانتباه برمز واحد للحفاظ على السببية الانحدارية الذاتية.

A cross-attention mechanism where the sequence is divided into fixed-size chunks, with each token attending only to the retrieved neighbours of its own chunk, and the attending window shifted by one token to preserve autoregressive causality.