قناع آلية الانتباه
Attention Mask
مصفوفة ثنائية تحدد للنموذج أي الوحدات اللغوية يجب التركيز عليها وأيها يجب تجاهله تماماً (كالحشو والأصفار).
Attention Mask
تُرجم أيضاًمصفوفة تحديد نطاق التركيز السياقي، عازل البيانات غير المطلوبة حوسبياً
أول ظهور في هذه المجموعة: XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة (2019)
يظهر في هذه الأوراق
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- DALL·E: توليد الصور من النصوص بدون أمثلة2021في السماء ✦
- Grounding DINO: دمج DINO مع التدريب المسبق المُوجَّه لغوياً لكشف الأجسام المفتوح2023في السماء ✦
- محوِّل Swin: محوِّل رؤية هرمي باستخدام النوافذ المُنزاحة2021في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦