آلية الانتباه
Attention
ميكانيكية رياضية تمكن النموذج من التركيز الموجه على أجزاء محددة وهامة من السياق وتجاهل الفائض.
Attention
تُرجم أيضاًالتركيز الموجه على السياق، معيار الترجيح السياقي
أول ظهور في هذه المجموعة: ELIZA — برنامج حاسوبي لدراسة التواصل بلُغة طبيعية (1966)
يظهر في هذه الأوراق
- التنبؤ الدقيق ببنية البروتينات باستخدام ألفافولد2021في السماء ✦
- الترجمة الآلية العصبية عبر التعلم المشترك للمحاذاة والترجمة2014في السماء ✦
- Autoformer: بنية تفكيك تقدّمية مع ارتباط ذاتي للتنبؤ بعيد المدى بالسلاسل الزمنية2021في السماء ✦
- BEiT: التدريب المسبق بأسلوب BERT لمحوِّلات الصور2021في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- الشبكات العصبية ومعضلة الانحياز والتباين1992في السماء ✦
- BLEU: طريقة للتقييم التلقائي للترجمة الآلية2002في السماء ✦
- BLOOM: نموذج لغوي متعدد اللغات مفتوح الوصول بـ 176 مليار معامل2022في السماء ✦
- التوجيه الديناميكي بين الكبسولات2017في السماء ✦
- Chronos: تعلُّم لغة السلاسل الزمنية2024في السماء ✦
- تعلُّم نماذج بصرية قابلة للنقل عبر الإشراف باللغة الطبيعية2021في السماء ✦
- ColBERT: البحث الفعّال والكفوء في المقاطع النصية عبر التفاعل المتأخر السياقي فوق BERT2020في السماء ✦
- شبكة التفافية لعصر العشرينيات2022في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- تدريب محوِّلات الصور الكفوءة بيانياً والتقطير عبر الانتباه2021في السماء ✦
- كشف الكائنات من البداية إلى النهاية باستخدام المحوِّلات2020في السماء ✦
- نماذج الانتشار تتفوّق على شبكات GAN في توليد الصور2021في السماء ✦
- شبكة الاهتمام العميق للتنبؤ بمعدّل النقر2018في السماء ✦
- خصائص ناشئة في محوِّلات الرؤية ذاتية الإشراف2021في السماء ✦
- DINOv2: تعلُّم سمات بصرية متينة بدون إشراف2023في السماء ✦
- بنية الشبكة المزدوجة للتعلُّم المعزَّز العميق2016في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- ELIZA — برنامج حاسوبي لدراسة التواصل بلُغة طبيعية1966في السماء ✦
- التمثيلات السياقية العميقة للكلمات2018في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- إثراء متجهات الكلمات بمعلومات الوحدات الفرعية2017في السماء ✦
- FlashAttention-2: انتباه أسرع بتوازٍ أفضل وتوزيع عمل أذكى2023في السماء ✦
- FlashAttention: انتباه دقيق وسريع وموفِّر للذاكرة بوعي حركة البيانات2022في السماء ✦
- شبكات الانتباه البيانية2018في السماء ✦
- وكيل واحد لكل المهام2022في السماء ✦
- العمليات الغاوسية للتعلم الآلي2006في السماء ✦
- التصنيف شبه المُوجَّه باستخدام الشبكات الالتفافية الرسومية2017في السماء ✦
- Gemini: عائلة نماذج فائقة القدرات تجمع بين وسائط متعددة2023في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- ما مدى قوة الشبكات العصبية البيانية؟2019في السماء ✦
- نظام الترجمة الآلية العصبية من جوجل: ردم الفجوة بين الترجمة البشرية والآلية2016في السماء ✦
- التعمّق في الالتفافات2014في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- Grad-CAM: تحديد المناطق المؤثّرة في قرارات الشبكات العميقة باستخدام التدرُّجات2017في السماء ✦
- الاستيعاب المتأخّر: تعميم يتجاوز فرط التخصيص في مجموعات بيانات خوارزمية صغيرة2022في السماء ✦
- Grounding DINO: دمج DINO مع التدريب المسبق المُوجَّه لغوياً لكشف الأجسام المفتوح2023في السماء ✦
- دليل تعليمي في نماذج ماركوف المخفية وتطبيقاتها في التعرّف على الكلام1989في السماء ✦
- رياضيات الترجمة الآلية الإحصائية: تقدير المعاملات1993في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- Jukebox: نموذج توليدي للموسيقى2020في السماء ✦
- أمثَلة الدُّفعات الكبيرة للتعلُّم العميق: تدريب BERT في 76 دقيقة2019في السماء ✦
- تسوية الطبقة2016في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- LLM.int8(): ضرب المصفوفات بدقة 8 بت للمحوِّلات على نطاق واسع2022في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- Mistral 7B2023في السماء ✦
- Mixtral: مزيج الخبراء2024في السماء ✦
- تمرير الرسائل العصبي للكيمياء الكمّية2017في السماء ✦
- برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة2022في السماء ✦
- MusicLM: توليد الموسيقى من النص2023في السماء ✦
- نموذج لغوي عصبي احتمالي2003في السماء ✦
- إدارة الذاكرة بكفاءة لخدمة النماذج اللغوية الكبيرة باستخدام PagedAttention2023في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- سلسلة زمنية تساوي 64 كلمة: التنبؤ طويل المدى باستخدام المحوِّلات2023في السماء ✦
- Perceiver: إدراك عام بالانتباه التكراري2021في السماء ✦
- π₀: نموذج تدفُّقي للرؤية واللغة والفعل للتحكم العام بالروبوتات2024في السماء ✦
- QLoRA: الضبط الدقيق الكفوء للنماذج اللغوية الكبيرة المُكمَّمة2023في السماء ✦
- REALM: التدريب المسبق لنموذج لغوي مُعزَّز بالاسترجاع2020في السماء ✦
- تعلُّم تمثيلات العبارات باستخدام المُرمِّز-فاكّ الترميز التكراري للترجمة الآلية الإحصائية2014في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- تعلُّم التمثيلات بدون إشراف عبر التنبؤ بدوران الصور2018في السماء ✦
- RT-1: محوِّل الروبوتات للتحكم الواقعي على نطاق واسع2022في السماء ✦
- النمذجة الكفوءة للتسلسلات الطويلة عبر فضاءات الحالة المُهيكلة2022في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- SegFormer: تصميم بسيط وفعّال للتجزئة الدلالية باستخدام المحوِّلات2021في السماء ✦
- التعلُّم من تسلسل إلى تسلسل باستخدام الشبكات العصبية2014في السماء ✦
- Shampoo: أمثَلة المُوتِّرات العشوائية بالتكييف المُسبَق2018في السماء ✦
- أرِني وأخبرني: مولّد وصف الصور بالشبكات العصبية2015في السماء ✦
- أَرِني، انتبِه وأخبرني: توليد وصف الصور بالانتباه البصري2015في السماء ✦
- شبكات المحوِّل المكاني2015في السماء ✦
- تسريع الاستدلال في المُحوِّلات باستخدام فك الترميز التخميني2023في السماء ✦
- SWE-bench: هل تستطيع النماذج اللغوية حلّ مشكلات GitHub الحقيقية؟2024في السماء ✦
- استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ2019في السماء ✦
- توليد الكلام الطبيعي بتهيئة WaveNet على تنبؤات طيف ميل2018في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦
- الانتباه هو كل ما تحتاجه2017في السماء ✦
- الضبط الدقيق الشامل لنموذج اللغة من أجل تصنيف النصوص2018في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- VQA: الإجابة البصرية عن الأسئلة2015في السماء ✦
- wav2vec 2.0: إطار عمل للتعلُّم الذاتي الإشراف لتمثيلات الكلام2020في السماء ✦
- التعلُّم العريض والعميق لأنظمة التوصية2016في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦