التوازي المتسلسل للطبقات
Pipeline Parallelism
تقسيم طبقات الشبكة تتابعياً كخط إنتاج؛ حيث يعالج معالج طبقة معينة ويمرر مخرجاته فوراً للمعالج التالي متعاقباً.
Pipeline Parallelism
تُرجم أيضاًمعالجة الطبقات المتتالية بأسلوب خطوط الإنتاج، التوزيع التعاقبي لمستويات المعالجة
أول ظهور في هذه المجموعة: Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج (2019)
يظهر في هذه الأوراق
- BLOOM: نموذج لغوي متعدد اللغات مفتوح الوصول بـ 176 مليار معامل2022في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦