تيار المحتوى

أحد تيارَي الانتباه في XLNet، يعمل كالانتباه الذاتي القياسي في المحوِّل: يصل إلى موضع الرمز ومحتواه معاً، ويبني التمثيل السياقي الكامل الذي تستخدمه الرموز الأخرى.

One of XLNet's two attention streams, functioning as standard Transformer self-attention: it accesses both a token's position and content, building the full contextual representation used by other tokens.