الاختزال الجماعي
All-Reduce
عملية اتصال جماعية في الحوسبة المتوازية تجمع (مثلاً بالجمع) مصفوفات من عدة معالجات وتوزّع النتيجة على جميع المعالجات. أساسية لتوازي البيانات في تدريب الشبكات العصبية العميقة.
A collective communication operation in parallel computing that combines (e.g. sums) matrices from multiple processors and distributes the result to all processors. Essential for data parallelism in deep neural network training.
تُرجم أيضاًاختزال شامل
أول ظهور في هذه المجموعة: النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة (2017)
يظهر في هذه الأوراق
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة2017في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- ZeRO: تحسينات الذاكرة نحو تدريب نماذج بتريليون معامل2019في السماء ✦