Two-Stream Self-Attention

آلية انتباه تُقسّم المعالجة إلى تيارين متوازيين: تيار المحتوى (يرى موضع الرمز ومحتواه) وتيار الاستعلام (يرى موضع الرمز فقط دون محتواه)، لحلّ مشكلة تسرّب المعلومات في نمذجة اللغة بالتبديل.

An attention mechanism that splits processing into two parallel streams: a content stream (seeing both position and content of a token) and a query stream (seeing only the token's position, not its content), solving the information leakage problem in permutation language modeling.