Reduce-Scatter

الاختزال والتوزيع

عملية تواصل جماعي تُجمّع البيانات (مثلاً بجمع التدرّجات) ثم توزّع النتيجة بحيث يحصل كل جهاز على شريحة واحدة فقط من الناتج المُختزل، بدلاً من الناتج الكامل.

A collective communication operation that reduces data (e.g., summing gradients) and distributes the result so each device receives only its slice of the reduced output, rather than the full result.

Also translated asالتجميع والتوزيع المُختزل

First appears in this corpus in: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (2019)

Appears in these papers

ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019 in the sky ✦