Disentangled Attention

آلية انتباه تفصل تمثيل المحتوى عن تمثيل الموضع في متجهين مستقلين، وتحسب درجة الانتباه من ثلاث تفاعلات منفصلة: محتوى-إلى-محتوى، ومحتوى-إلى-موضع، وموضع-إلى-محتوى.

An attention mechanism that separates content and position representations into two independent vectors, computing attention scores from three separate interactions: content-to-content, content-to-position, and position-to-content.