توازي مصفوفات الموتّرات
Tensor Parallelism
تقسيم العمليات الرياضية وحسابات المصفوفة الواحدة والموتّر داخلياً عبر معالجات متوازية لتسريع خطوة التدريب.
Tensor Parallelism
تُرجم أيضاًتقسيم العمليات الرياضية للمصفوفة الواحدة، التفتيت الداخلي للحوسبة البعدية
أول ظهور في هذه المجموعة: Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج (2019)
يظهر في هذه الأوراق
- BLOOM: نموذج لغوي متعدد اللغات مفتوح الوصول بـ 176 مليار معامل2022في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦