قناع سببي
Causal Mask
مصفوفة عزل تحجب الكلمات المستقبلية أثناء عملية تدريب النماذج التوليدية لضمان التعلم السببي الصحيح خطياً.
تُرجم أيضاًحجب الكلمات المستقبلية في التوليد، محدد التتابع التراجعي للأمام، قناع الترابط السببي النصي، قناع الاتجاه الواحد، القناع التسلسلي
أول ظهور في هذه المجموعة: BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة (2018)
يظهر في هذه الأوراق
- BART: التدريب المسبق بإزالة التشويش لنماذج تسلسل إلى تسلسل في التوليد والترجمة والفهم اللغوي2019في السماء ✦
- BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة2018في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- محوِّل القرار: التعلّم المعزَّز عبر نمذجة التسلسلات2021في السماء ✦
- FlashAttention-2: انتباه أسرع بتوازٍ أفضل وتوزيع عمل أذكى2023في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- Mistral 7B2023في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦