Sharding

التجزئة

تقسيم البيانات أو حالات النموذج إلى شرائح (أجزاء) وتوزيعها على أجهزة متعددة بحيث يحمل كل جهاز جزءاً واحداً فقط بدلاً من النسخة الكاملة.

Splitting data or model states into shards (partitions) and distributing them across multiple devices so each device holds only a fraction instead of the full copy.

Also translated asالتقسيم، التوزيع بالشرائح

First appears in this corpus in: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (2019)

Appears in these papers

ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019 in the sky ✦