All-Gather

الجمع الشامل

عملية تواصل جماعي يُرسل فيها كل جهاز شريحته من البيانات إلى جميع الأجهزة الأخرى، فتحصل كل وحدة في النهاية على البيانات الكاملة مُعاد تجميعها.

A collective communication operation where each device sends its data shard to all other devices, so every device ends up with the full reassembled data.

Also translated asالتجميع الكامل

First appears in this corpus in: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (2019)

Appears in these papers

ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019 in the sky ✦