التدريب الموزَّع
Distributed Training
أسلوب تدريب يُقسَّم فيه العمل الحوسبي على عدة وحدات معالجة (عادةً وحدات رسومية) عبر خوادم متعددة، بحيث تعمل جميعها بالتوازي لتقليص زمن التدريب مع الحفاظ على جودة النموذج.
A training approach where computational work is divided across multiple processing units (typically GPUs) across multiple servers, all working in parallel to reduce training time while maintaining model quality.
تُرجم أيضاًالتدريب على عدة وحدات، التدريب المتوازي الموزَّع
أول ظهور في هذه المجموعة: النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة (2017)
يظهر في هذه الأوراق
- النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة2017في السماء ✦
- تعلُّم التلاعب البارع داخل اليد الآلية2019في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- QT-Opt: تعلُّم تعزيزي عميق قابل للتوسيع للتحكّم الآلي بالرؤية الحاسوبية2018في السماء ✦