تيار الاستعلام

أحد تيارَي الانتباه في XLNet، مصمَّم للتنبؤ: يرى مواضع جميع الرموز لكنه لا يرى محتوى الرمز المستهدف، مما يمنع التنبؤ التافه ويُحافظ على جودة التعلّم.

One of XLNet's two attention streams, designed for prediction: it sees the positions of all tokens but cannot see the target token's content, preventing trivial prediction and maintaining learning quality.