Attention Mask
قناع آلية الانتباه
مصفوفة ثنائية تحدد للنموذج أي الوحدات اللغوية يجب التركيز عليها وأيها يجب تجاهله تماماً (كالحشو والأصفار).
Attention Mask
Also translated asمصفوفة تحديد نطاق التركيز السياقي، عازل البيانات غير المطلوبة حوسبياً
First appears in this corpus in: XLNet: Generalized Autoregressive Pretraining for Language Understanding (2019)
Appears in these papers
- BLIP-2: Bootstrapping Language-Image Pre-Training with Frozen Image Encoders and Large Language Models2023in the sky ✦
- DALL·E: Zero-Shot Text-to-Image Generation2021in the sky ✦
- Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection2023in the sky ✦
- Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows2021in the sky ✦
- XLNet: Generalized Autoregressive Pretraining for Language Understanding2019in the sky ✦
- XLNet: Generalized Autoregressive Pretraining for Language Understanding2019in the sky ✦