التدريب المسبق
Pre-training
مرحلة التدريب الأولية واسعة النطاق حيث يتعلم النموذج من مجموعات بيانات ضخمة للتنبؤ بالرمز التالي، مكتسباً معرفة واسعة باللغة والاستدلال.
The initial large-scale training phase where a model learns from massive datasets to predict the next token, acquiring broad knowledge of language and reasoning.
تُرجم أيضاًالتدريب الأولي، مرحلة ما قبل التدريب
أول ظهور في هذه المجموعة: هرميّات السمات الغنية للكشف الدقيق عن الأجسام والتجزئة الدلالية (2014)
يظهر في هذه الأوراق
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- BART: التدريب المسبق بإزالة التشويش لنماذج تسلسل إلى تسلسل في التوليد والترجمة والفهم اللغوي2019في السماء ✦
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- ColBERT: البحث الفعّال والكفوء في المقاطع النصية عبر التفاعل المتأخر السياقي فوق BERT2020في السماء ✦
- Contriever: استرجاع كثيف للمعلومات بدون إشراف عبر التعلّم التبايُني2022في السماء ✦
- شبكة التفافية لعصر العشرينيات2022في السماء ✦
- DeBERTa: تعزيز BERT بفكّ ترميز مُحسَّن وانتباه مُفكَّك2020في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد2020في السماء ✦
- القدرات الناشئة في النماذج اللغوية الكبيرة2022في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- GLUE: معيار مرجعي متعدد المهام ومنصة تحليل لفهم اللغة الطبيعية2018في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- Grounding DINO: دمج DINO مع التدريب المسبق المُوجَّه لغوياً لكشف الأجسام المفتوح2023في السماء ✦
- تعلُّم التلخيص من التغذية الراجعة البشرية2020في السماء ✦
- الاكتشاف الرمزي لخوارزميات الأمثَلة2023في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- Mixtral: مزيج الخبراء2024في السماء ✦
- التصفية التعاونية العصبية2017في السماء ✦
- π₀: نموذج تدفُّقي للرؤية واللغة والفعل للتحكم العام بالروبوتات2024في السماء ✦
- هرميّات السمات الغنية للكشف الدقيق عن الأجسام والتجزئة الدلالية2014في السماء ✦
- Self-Instruct: مواءمة النماذج اللغوية بتعليمات يولّدها النموذج بنفسه2022في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- التدريب الشامل لسياسات بصرية-حركية عميقة2016في السماء ✦
- wav2vec 2.0: إطار عمل للتعلُّم الذاتي الإشراف لتمثيلات الكلام2020في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦