Zero Redundancy Optimizer

تقنية لتقسيم حالات النموذج (المعاملات والتدرّجات وحالات المُحسِّن) بين وحدات المعالجة بدلاً من تكريرها، مما يُزيل التكرار في الذاكرة أثناء التدريب المتوازي في البيانات مع الاحتفاظ بكفاءة الحوسبة.

A technique that partitions model states (parameters, gradients, and optimizer states) across GPUs instead of replicating them, eliminating memory redundancy in data-parallel training while retaining computational efficiency.