Allreduce

عملية تواصل جماعية في الحوسبة الموزَّعة تجمع القيم (كالتدرجات) من جميع العمّال عبر دالة اختزال (كالمتوسط)، ثم توزّع النتيجة على جميع العمّال بحيث يمتلك كلٌّ منهم نسخة متطابقة من الناتج النهائي.

A collective communication operation in distributed computing that combines values (such as gradients) from all workers via a reduction function (such as averaging), then distributes the result to all workers so each has an identical copy of the final output.