الاختزال الشامل
Allreduce
عملية تواصل جماعية في الحوسبة الموزَّعة تجمع القيم (كالتدرجات) من جميع العمّال عبر دالة اختزال (كالمتوسط)، ثم توزّع النتيجة على جميع العمّال بحيث يمتلك كلٌّ منهم نسخة متطابقة من الناتج النهائي.
A collective communication operation in distributed computing that combines values (such as gradients) from all workers via a reduction function (such as averaging), then distributes the result to all workers so each has an identical copy of the final output.
تُرجم أيضاًجمع وتوزيع التدرجات، allreduce
أول ظهور في هذه المجموعة: Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج (2019)
يظهر في هذه الأوراق