3D Parallelism

استراتيجية لتوزيع تدريب النماذج الكبيرة عبر وحدات معالجة رسومية متعددة بالجمع بين ثلاثة أنواع من التوازي: توازي البيانات (نسخ النموذج لمعالجة دُفعات مختلفة)، والتوازي الموتِّري (تقسيم الطبقات المنفردة)، وتوازي خطّ الأنابيب (تقسيم الطبقات بين مراحل متتابعة).

A strategy for distributing large model training across multiple GPUs by combining three parallelism types: Data Parallelism (replicating the model for different batches), Tensor Parallelism (splitting individual layers), and Pipeline Parallelism (dividing layers into sequential stages).