الاختزال والتوزيع

عملية تواصل جماعي تُجمّع البيانات (مثلاً بجمع التدرّجات) ثم توزّع النتيجة بحيث يحصل كل جهاز على شريحة واحدة فقط من الناتج المُختزل، بدلاً من الناتج الكامل.

A collective communication operation that reduces data (e.g., summing gradients) and distributes the result so each device receives only its slice of the reduced output, rather than the full result.