المحوِّل
Transformer
بنية شبكة عصبية قدّمها فاسواني وزملاؤه في جوجل عام 2017 في ورقة «Attention Is All You Need»، تعتمد كلياً على الانتباه الذاتي بدل الشبكات العودية أو الالتفافية، وأصبحت الأساس الحاسوبي لكل النماذج اللغوية والبصرية والمتعدّدة الوسائط الكبرى الحديثة.
A neural network architecture introduced by Vaswani and colleagues at Google in the 2017 paper 'Attention Is All You Need' that relies entirely on self-attention instead of recurrence or convolution, becoming the computational foundation of essentially every major modern language, vision, and multimodal model.
تُرجم أيضاًTransformer، Attention Is All You Need، بنية المحوِّل، محوِّل فاسواني
أول ظهور في هذه المجموعة: حِساب منطقي للأفكار الكامنة في النشاط العصبي (1943)
يظهر في هذه الأوراق
- فصل اضمحلال الأوزان عن التحديث التكيُّفي2019في السماء ✦
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- تعلُّم التحكّم الثنائي الدقيق بعتاد منخفض التكلفة2023في السماء ✦
- التنبؤ الدقيق ببنية البروتينات باستخدام ألفافولد2021في السماء ✦
- مستوى الأستاذ الأكبر في StarCraft II باستخدام التعلّم المعزّز متعدّد الوكلاء2019في السماء ✦
- اكتشاف خوارزميات أسرع لضرب المصفوفات بالتعلّم المعزَّز2022في السماء ✦
- Autoformer: بنية تفكيك تقدّمية مع ارتباط ذاتي للتنبؤ بعيد المدى بالسلاسل الزمنية2021في السماء ✦
- تعلُّم التمثيلات عبر الانتشار العكسي للأخطاء1986في السماء ✦
- BART: التدريب المسبق بإزالة التشويش لنماذج تسلسل إلى تسلسل في التوليد والترجمة والفهم اللغوي2019في السماء ✦
- تسوية الدُّفعات: تسريع تدريب الشبكات العميقة بتقليل الانزياح الداخلي للتوزيعات2015في السماء ✦
- BEiT: التدريب المسبق بأسلوب BERT لمحوِّلات الصور2021في السماء ✦
- تعلُّم الاعتماديّات طويلة المدى بالانحدار التدريجي مهمة صعبة1994في السماء ✦
- BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة2018في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- BLEU: طريقة للتقييم التلقائي للترجمة الآلية2002في السماء ✦
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- BLOOM: نموذج لغوي متعدد اللغات مفتوح الوصول بـ 176 مليار معامل2022في السماء ✦
- Chronos: تعلُّم لغة السلاسل الزمنية2024في السماء ✦
- تعلُّم نماذج بصرية قابلة للنقل عبر الإشراف باللغة الطبيعية2021في السماء ✦
- Contriever: استرجاع كثيف للمعلومات بدون إشراف عبر التعلّم التبايُني2022في السماء ✦
- شبكة التفافية لعصر العشرينيات2022في السماء ✦
- التعلُّم بالتدرُّج لتمييز الوثائق1998في السماء ✦
- DALL·E: توليد الصور من النصوص بدون أمثلة2021في السماء ✦
- نماذج الانتشار الاحتمالية لإزالة الضوضاء2020في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- محوِّل القرار: التعلّم المعزَّز عبر نمذجة التسلسلات2021في السماء ✦
- التعلُّم العميق2015في السماء ✦
- Deep Speech 2: التعرّف الشامل على الكلام في الإنجليزية والصينية2015في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- شبكات الالتفاف القابلة للتشوُّه2017في السماء ✦
- تدريب محوِّلات الصور الكفوءة بيانياً والتقطير عبر الانتباه2021في السماء ✦
- كشف الكائنات من البداية إلى النهاية باستخدام المحوِّلات2020في السماء ✦
- سياسة الانتشار: تعلُّم السياسات البصرية-الحركية بانتشار الأفعال2023في السماء ✦
- شبكة الاهتمام العميق للتنبؤ بمعدّل النقر2018في السماء ✦
- خصائص ناشئة في محوِّلات الرؤية ذاتية الإشراف2021في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- تعلُّم التمثيلات الموزَّعة للمفاهيم1986في السماء ✦
- هل المحوِّلات فعّالة في التنبؤ بالسلاسل الزمنية؟2023في السماء ✦
- الإسقاط العشوائي: طريقة بسيطة لمنع الشبكات العصبية من فرط التخصيص2014في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- التمثيلات السياقية العميقة للكلمات2018في السماء ✦
- هل القدرات الناشئة في النماذج اللغوية الكبيرة مجرد سراب؟2023في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- Flamingo: نموذج لغوي بصري للتعلّم بأمثلة قليلة2022في السماء ✦
- النماذج اللغوية المضبوطة بالتعليمات تتعلَّم بدون أمثلة2022في السماء ✦
- شبكات الانتباه البيانية2018في السماء ✦
- وكيل واحد لكل المهام2022في السماء ✦
- التصنيف شبه المُوجَّه باستخدام الشبكات الالتفافية الرسومية2017في السماء ✦
- وحدات الخطأ الغاوسي الخطية (GELUs)2016في السماء ✦
- Gemini: عائلة نماذج فائقة القدرات تجمع بين وسائط متعددة2023في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- GLIDE: توليد صور واقعية وتحريرها باستخدام نماذج انتشار موجَّهة بالنص2021في السماء ✦
- GloVe: متجهات شاملة لتمثيل الكلمات2014في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- النماذج اللغوية قادرة على التعلّم بأمثلة قليلة2020في السماء ✦
- التقرير التقني لـ GPT-42023في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- صعوبة تدريب الشبكات العصبية التكرارية2013في السماء ✦
- هل المحوِّلات فعلاً ضعيفة في تمثيل البيانات البيانية؟2021في السماء ✦
- الاستيعاب المتأخّر: تعميم يتجاوز فرط التخصيص في مجموعات بيانات خوارزمية صغيرة2022في السماء ✦
- Grounding DINO: دمج DINO مع التدريب المسبق المُوجَّه لغوياً لكشف الأجسام المفتوح2023في السماء ✦
- تقييم تجريبي للشبكات العصبية التكرارية ذات البوابات في نمذجة التتابعات2014في السماء ✦
- شبكات الطريق السريع2015في السماء ✦
- ImageBind: فضاء تضمين واحد يربط كل الأنماط2023في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- Jukebox: نموذج توليدي للموسيقى2020في السماء ✦
- متى يُفيد تنعيم التسميات؟2019في السماء ✦
- أمثَلة الدُّفعات الكبيرة للتعلُّم العميق: تدريب BERT في 76 دقيقة2019في السماء ✦
- تسوية الطبقة2016في السماء ✦
- تعلُّم التلخيص من التغذية الراجعة البشرية2020في السماء ✦
- الاكتشاف الرمزي لخوارزميات الأمثَلة2023في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- الضبط التعليمي البصري2023في السماء ✦
- LLM.int8(): ضرب المصفوفات بدقة 8 بت للمحوِّلات على نطاق واسع2022في السماء ✦
- LoRA: التكيّف مُنخَفِض الرُّتبة للنماذج اللغوية الكبيرة2021في السماء ✦
- الذاكرة الطويلة قصيرة المدى1997في السماء ✦
- المُرمِّزات التلقائية المُقنَّعة: نماذج رؤية قابلة للتدريج2022في السماء ✦
- مامبا: نمذجة التسلسلات في زمن خطّي باستخدام فضاءات حالة انتقائية2023في السماء ✦
- حِساب منطقي للأفكار الكامنة في النشاط العصبي1943في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- Mistral 7B2023في السماء ✦
- Mixtral: مزيج الخبراء2024في السماء ✦
- تمرير الرسائل العصبي للكيمياء الكمّية2017في السماء ✦
- برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة2022في السماء ✦
- MusicLM: توليد الموسيقى من النص2023في السماء ✦
- نموذج لغوي عصبي احتمالي2003في السماء ✦
- مُبرهنات لا وجبة مجانية في الأمثَلة1997في السماء ✦
- Open X-Embodiment: مجموعات بيانات التعلّم الروبوتي ونماذج RT-X2024في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- إدارة الذاكرة بكفاءة لخدمة النماذج اللغوية الكبيرة باستخدام PagedAttention2023في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- سلسلة زمنية تساوي 64 كلمة: التنبؤ طويل المدى باستخدام المحوِّلات2023في السماء ✦
- Perceiver: إدراك عام بالانتباه التكراري2021في السماء ✦
- البيرسيبترون: نموذج احتمالي لتخزين المعلومات وتنظيمها في الدماغ1958في السماء ✦
- الكتب المدرسية هي كل ما تحتاجه2023في السماء ✦
- π₀: نموذج تدفُّقي للرؤية واللغة والفعل للتحكم العام بالروبوتات2024في السماء ✦
- التوليد المعزَّز بالاسترجاع للمهام اللغوية كثيفة المعرفة2020في السماء ✦
- REALM: التدريب المسبق لنموذج لغوي مُعزَّز بالاسترجاع2020في السماء ✦
- خوارزميات إحصائية بسيطة لتتبُّع التدرُّج في التعلُّم بالتعزيز للشبكات العصبية1992في السماء ✦
- التعلُّم المتبقّي العميق للتعرّف على الصور2015في السماء ✦
- تعلُّم تمثيلات العبارات باستخدام المُرمِّز-فاكّ الترميز التكراري للترجمة الآلية الإحصائية2014في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- RT-1: محوِّل الروبوتات للتحكم الواقعي على نطاق واسع2022في السماء ✦
- النمذجة الكفوءة للتسلسلات الطويلة عبر فضاءات الحالة المُهيكلة2022في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- SegFormer: تصميم بسيط وفعّال للتجزئة الدلالية باستخدام المحوِّلات2021في السماء ✦
- تجزئة أي شيء2023في السماء ✦
- Sentence-BERT: تضمينات الجمل باستخدام شبكات BERT السيامية2019في السماء ✦
- التعلُّم من تسلسل إلى تسلسل باستخدام الشبكات العصبية2014في السماء ✦
- أَرِني، انتبِه وأخبرني: توليد وصف الصور بالانتباه البصري2015في السماء ✦
- نماذج توليد الفيديو بوصفها محاكيات للعالم2024في السماء ✦
- تسريع الاستدلال في المُحوِّلات باستخدام فك الترميز التخميني2023في السماء ✦
- محوِّل Swin: محوِّل رؤية هرمي باستخدام النوافذ المُنزاحة2021في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ2019في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦
- الانتباه هو كل ما تحتاجه2017في السماء ✦
- الضبط الدقيق الشامل لنموذج اللغة من أجل تصنيف النصوص2018في السماء ✦
- التقريب بتراكب دوال سيغمويدية1989في السماء ✦
- الشبكات الالتفافية العميقة جداً للتعرُّف على الصور واسع النطاق2014في السماء ✦
- كشف الأجسام السريع باستخدام سلسلة مُعزَّزة من السمات البسيطة2001في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- VQA: الإجابة البصرية عن الأسئلة2015في السماء ✦
- تعلُّم التمثيلات المنفصلة بالشبكات العصبية2017في السماء ✦
- wav2vec 2.0: إطار عمل للتعلُّم الذاتي الإشراف لتمثيلات الكلام2020في السماء ✦
- WaveNet: نموذج توليدي للصوت الخام2016في السماء ✦
- التعرّف على الكلام بمتانة عالية من خلال إشراف ضعيف على نطاق واسع2022في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦