الانتباه الذاتي
Self-Attention
آلية انتباه تحسب فيها كل عنصر في التسلسل درجات الصلة مع جميع العناصر الأخرى في التسلسل ذاته، مما يتيح تفاعلات مباشرة بين كل زوج.
An attention mechanism where each element in a sequence computes relevance scores against all other elements in the same sequence, enabling direct pairwise interactions.
تُرجم أيضاًآلية الانتباه الذاتي، آلية رصد العلاقات البينية، الانتباه الداخلي، مقياس الارتباط الداخلي للرموز
أول ظهور في هذه المجموعة: ELIZA — برنامج حاسوبي لدراسة التواصل بلُغة طبيعية (1966)
يظهر في هذه الأوراق
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- التنبؤ الدقيق ببنية البروتينات باستخدام ألفافولد2021في السماء ✦
- Atlas: التعلُّم بأمثلة قليلة عبر نماذج لغوية مُعزَّزة بالاسترجاع2023في السماء ✦
- الترجمة الآلية العصبية عبر التعلم المشترك للمحاذاة والترجمة2014في السماء ✦
- Autoformer: بنية تفكيك تقدّمية مع ارتباط ذاتي للتنبؤ بعيد المدى بالسلاسل الزمنية2021في السماء ✦
- تعلُّم الاعتماديّات طويلة المدى بالانحدار التدريجي مهمة صعبة1994في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- Chronos: تعلُّم لغة السلاسل الزمنية2024في السماء ✦
- ColBERT: البحث الفعّال والكفوء في المقاطع النصية عبر التفاعل المتأخر السياقي فوق BERT2020في السماء ✦
- شبكة التفافية لعصر العشرينيات2022في السماء ✦
- DALL·E: توليد الصور من النصوص بدون أمثلة2021في السماء ✦
- نماذج الانتشار الاحتمالية لإزالة الضوضاء2020في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- محوِّل القرار: التعلّم المعزَّز عبر نمذجة التسلسلات2021في السماء ✦
- تدريب محوِّلات الصور الكفوءة بيانياً والتقطير عبر الانتباه2021في السماء ✦
- كشف الكائنات من البداية إلى النهاية باستخدام المحوِّلات2020في السماء ✦
- خصائص ناشئة في محوِّلات الرؤية ذاتية الإشراف2021في السماء ✦
- DINOv2: تعلُّم سمات بصرية متينة بدون إشراف2023في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- هل المحوِّلات فعّالة في التنبؤ بالسلاسل الزمنية؟2023في السماء ✦
- ELIZA — برنامج حاسوبي لدراسة التواصل بلُغة طبيعية1966في السماء ✦
- الدمج في المفكِّك: الاستفادة من استرجاع المقاطع مع النماذج التوليدية للإجابة عن الأسئلة المفتوحة2021في السماء ✦
- Flamingo: نموذج لغوي بصري للتعلّم بأمثلة قليلة2022في السماء ✦
- التصنيف شبه المُوجَّه باستخدام الشبكات الالتفافية الرسومية2017في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- هل المحوِّلات فعلاً ضعيفة في تمثيل البيانات البيانية؟2021في السماء ✦
- Grounding DINO: دمج DINO مع التدريب المسبق المُوجَّه لغوياً لكشف الأجسام المفتوح2023في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- توليد صور عالية الدقة باستخدام نماذج الانتشار الكامنة2022في السماء ✦
- الضبط التعليمي البصري2023في السماء ✦
- LoRA: التكيّف مُنخَفِض الرُّتبة للنماذج اللغوية الكبيرة2021في السماء ✦
- الذاكرة الطويلة قصيرة المدى1997في السماء ✦
- المُرمِّزات التلقائية المُقنَّعة: نماذج رؤية قابلة للتدريج2022في السماء ✦
- مامبا: نمذجة التسلسلات في زمن خطّي باستخدام فضاءات حالة انتقائية2023في السماء ✦
- Mistral 7B2023في السماء ✦
- سلسلة زمنية تساوي 64 كلمة: التنبؤ طويل المدى باستخدام المحوِّلات2023في السماء ✦
- Perceiver: إدراك عام بالانتباه التكراري2021في السماء ✦
- RoFormer: محوِّل مُحسَّن بالتضمين الموضعي الدوراني2021في السماء ✦
- RT-1: محوِّل الروبوتات للتحكم الواقعي على نطاق واسع2022في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- SegFormer: تصميم بسيط وفعّال للتجزئة الدلالية باستخدام المحوِّلات2021في السماء ✦
- تجزئة أي شيء2023في السماء ✦
- أَرِني، انتبِه وأخبرني: توليد وصف الصور بالانتباه البصري2015في السماء ✦
- محوِّل Swin: محوِّل رؤية هرمي باستخدام النوافذ المُنزاحة2021في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦
- الانتباه هو كل ما تحتاجه2017في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦