حجم الدفعة الحسابية
Batch Size
إجمالي عدد عينات البيانات التي يتم معالجتها وحساب تدرجاتها معاً قبل كل عملية تحديث للأوزان البنيوية.
Batch Size
تُرجم أيضاًسعة المجموعة الجزئية للمعالجة، النطاق العددي لحزمة التدريب
أول ظهور في هذه المجموعة: تصنيف صور ImageNet بالشبكات العصبية الالتفافية العميقة (2012)
يظهر في هذه الأوراق
- فصل اضمحلال الأوزان عن التحديث التكيُّفي2019في السماء ✦
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- تصنيف صور ImageNet بالشبكات العصبية الالتفافية العميقة2012في السماء ✦
- ALIGN: توسيع نطاق تعلّم التمثيلات البصرية والبصرية-اللغوية بإشراف نصّي مُشوَّش2021في السماء ✦
- ألباكا: نموذج قوي وقابل للتكرار يتّبع التعليمات2023في السماء ✦
- Barlow Twins: التعلّم ذاتي الإشراف عبر تقليل التكرار2021في السماء ✦
- BART: التدريب المسبق بإزالة التشويش لنماذج تسلسل إلى تسلسل في التوليد والترجمة والفهم اللغوي2019في السماء ✦
- الأمثَلة البايزية التطبيقية لخوارزميات التعلم الآلي2012في السماء ✦
- BYOL: مقاربة جديدة للتعلُّم الذاتي الإشراف بتمهيد التمثيلات الكامنة2020في السماء ✦
- Contriever: استرجاع كثيف للمعلومات بدون إشراف عبر التعلّم التبايُني2022في السماء ✦
- شبكة التفافية لعصر العشرينيات2022في السماء ✦
- معدّلات التعلّم الدورية لتدريب الشبكات العصبية2017في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- الدمج في المفكِّك: الاستفادة من استرجاع المقاطع مع النماذج التوليدية للإجابة عن الأسئلة المفتوحة2021في السماء ✦
- FlashAttention-2: انتباه أسرع بتوازٍ أفضل وتوزيع عمل أذكى2023في السماء ✦
- وكيل واحد لكل المهام2022في السماء ✦
- Glow: التدفق التوليدي بالالتفافات القابلة للعكس 1×12018في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- التسوية بالمجموعات2018في السماء ✦
- Hyperband: نهج مبتكر لضبط المعاملات الفائقة مستوحى من مسائل قطّاع الطريق2018في السماء ✦
- أمثَلة الدُّفعات الكبيرة للتعلُّم العميق: تدريب BERT في 76 دقيقة2019في السماء ✦
- النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة2017في السماء ✦
- LIMA: القليل يكفي للمواءمة2023في السماء ✦
- الاكتشاف الرمزي لخوارزميات الأمثَلة2023في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- تصوير سطح الخسارة في الشبكات العصبية2018في السماء ✦
- التدريب بالدقة المختلطة2018في السماء ✦
- تباين الزخم للتعلّم التمثيلي البصري غير الخاضع للإشراف2020في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- إدارة الذاكرة بكفاءة لخدمة النماذج اللغوية الكبيرة باستخدام PagedAttention2023في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- Sentence-BERT: تضمينات الجمل باستخدام شبكات BERT السيامية2019في السماء ✦
- إطار بسيط للتعلم التبايُني للتمثيلات البصرية2020في السماء ✦
- استكشاف تعلُّم التمثيلات بشبكات سيامية بسيطة2021في السماء ✦
- تسريع الاستدلال في المُحوِّلات باستخدام فك الترميز التخميني2023في السماء ✦
- SwAV: تعلُّم السمات البصرية دون إشراف عبر مقارنة تعيينات العنقدة2020في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- Toolformer: نماذج اللغة تستطيع تعليم نفسها استخدام الأدوات2023في السماء ✦
- التعرّف على الكلام بمتانة عالية من خلال إشراف ضعيف على نطاق واسع2022في السماء ✦
- ZeRO: تحسينات الذاكرة نحو تدريب نماذج بتريليون معامل2019في السماء ✦