التدريب المسبق
Pretraining
المرحلة الأولى الكثيفة لتدريب النموذج على كميات هائلة من البيانات العامة لتعلم قواعد اللغة الأساسية.
Pretraining
تُرجم أيضاًالتهيئة الأولية الشاملة، التأهيل القبلي للنموذج
أول ظهور في هذه المجموعة: اختزال أبعاد البيانات بالشبكات العصبية (2006)
يظهر في هذه الأوراق
- BEiT: التدريب المسبق بأسلوب BERT لمحوِّلات الصور2021في السماء ✦
- BERT: التدريب المسبق لمحوِّلات عميقة ثنائية الاتجاه لفهم اللغة2018في السماء ✦
- Chronos: تعلُّم لغة السلاسل الزمنية2024في السماء ✦
- تعلُّم نماذج بصرية قابلة للنقل عبر الإشراف باللغة الطبيعية2021في السماء ✦
- الذكاء الاصطناعي الدستوري: نحو نماذج آمنة بإشراف ذاتي مبني على مبادئ2022في السماء ✦
- تعلُّم التمثيلات عبر الترميز التنبُّئي التبايُني2018في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- اختزال أبعاد البيانات بالشبكات العصبية2006في السماء ✦
- خوارزمية تعلُّم سريعة لشبكات الاعتقاد العميق2006في السماء ✦
- استخلاص سمات متينة وتركيبها عبر المرمّزات التلقائية المُزيلة للضجيج2008في السماء ✦
- التعشير النطاقي لنقل الشبكات العصبية العميقة من المحاكاة إلى العالم الحقيقي2017في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- التمثيلات السياقية العميقة للكلمات2018في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- فهم الأمثلة الخصومية واستثمارها2015في السماء ✦
- Flamingo: نموذج لغوي بصري للتعلّم بأمثلة قليلة2022في السماء ✦
- النماذج اللغوية المضبوطة بالتعليمات تتعلَّم بدون أمثلة2022في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- النماذج اللغوية قادرة على التعلّم بأمثلة قليلة2020في السماء ✦
- التقرير التقني لـ GPT-42023في السماء ✦
- التسوية بالمجموعات2018في السماء ✦
- إلى أين يتّجه تمييز الأفعال؟ نموذج جديد ومجموعة بيانات Kinetics2017في السماء ✦
- ImageNet: قاعدة بيانات صور هرمية واسعة النطاق2009في السماء ✦
- تدريب النماذج اللغوية على اتّباع التعليمات باستخدام التغذية الراجعة البشرية2022في السماء ✦
- أمثَلة الدُّفعات الكبيرة للتعلُّم العميق: تدريب BERT في 76 دقيقة2019في السماء ✦
- LIMA: القليل يكفي للمواءمة2023في السماء ✦
- الضبط التعليمي البصري2023في السماء ✦
- LoRA: التكيّف مُنخَفِض الرُّتبة للنماذج اللغوية الكبيرة2021في السماء ✦
- المُرمِّزات التلقائية المُقنَّعة: نماذج رؤية قابلة للتدريج2022في السماء ✦
- تباين الزخم للتعلّم التمثيلي البصري غير الخاضع للإشراف2020في السماء ✦
- برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة2022في السماء ✦
- Open X-Embodiment: مجموعات بيانات التعلّم الروبوتي ونماذج RT-X2024في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- REALM: التدريب المسبق لنموذج لغوي مُعزَّز بالاسترجاع2020في السماء ✦
- الوحدات الخطية المُصحَّحة تُحسِّن آلات بولتزمان المقيَّدة2010في السماء ✦
- تعلُّم التمثيلات: مراجعة شاملة وآفاق جديدة2013في السماء ✦
- RETRO: تحسين النماذج اللغوية بالاسترجاع من تريليونات الرموز2022في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- RT-2: نماذج الرؤية-اللغة-الفعل تنقل معرفة الويب إلى التحكم الروبوتي2023في السماء ✦
- استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ2019في السماء ✦
- Toolformer: نماذج اللغة تستطيع تعليم نفسها استخدام الأدوات2023في السماء ✦
- الضبط الدقيق الشامل لنموذج اللغة من أجل تصنيف النصوص2018في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- VQA: الإجابة البصرية عن الأسئلة2015في السماء ✦
- التعميم من الضعيف إلى القوي: استخراج القدرات القوية بإشراف ضعيف2023في السماء ✦
- التمثيلات الموزَّعة للكلمات والعبارات وخاصية التركيب2013في السماء ✦
- لماذا يصعب تدريب الشبكات العصبية العميقة ذات التغذية الأمامية؟2010في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦
- نظرة واحدة تكفي: نظام موحَّد لرصد الكائنات في الزمن الحقيقي2015في السماء ✦