Tensor Parallelism
توازي مصفوفات الموتّرات
تقسيم العمليات الرياضية وحسابات المصفوفة الواحدة والموتّر داخلياً عبر معالجات متوازية لتسريع خطوة التدريب.
Tensor Parallelism
Also translated asتقسيم العمليات الرياضية للمصفوفة الواحدة، التفتيت الداخلي للحوسبة البعدية
First appears in this corpus in: Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (2019)
Appears in these papers
- BLOOM: A 176B-Parameter Open-Access Multilingual Language Model2022in the sky ✦
- BLOOM: A 176B-Parameter Open-Access Multilingual Language Model2022in the sky ✦
- DeepSeek-V3 Technical Report2024in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism2019in the sky ✦
- Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism2019in the sky ✦
- OPT: Open Pre-Trained Transformer Language Models2022in the sky ✦
- OPT: Open Pre-Trained Transformer Language Models2022in the sky ✦