Pipeline Parallelism
التوازي المتسلسل للطبقات
تقسيم طبقات الشبكة تتابعياً كخط إنتاج؛ حيث يعالج معالج طبقة معينة ويمرر مخرجاته فوراً للمعالج التالي متعاقباً.
Pipeline Parallelism
Also translated asمعالجة الطبقات المتتالية بأسلوب خطوط الإنتاج، التوزيع التعاقبي لمستويات المعالجة
First appears in this corpus in: Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (2019)
Appears in these papers
- BLOOM: A 176B-Parameter Open-Access Multilingual Language Model2022in the sky ✦
- BLOOM: A 176B-Parameter Open-Access Multilingual Language Model2022in the sky ✦
- DeepSeek-V3 Technical Report2024in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- Scaling Language Models: Methods, Analysis & Insights from Training Gopher2022in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism2019in the sky ✦
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism2019in the sky ✦
- PaLM: Scaling Language Modeling with Pathways2022in the sky ✦