Synchronous SGD

نمط من التدريب الموزَّع تنتظر فيه جميع وحدات المعالجة حتى تُنهي حساب تدرجاتها المحلية، ثم تتبادلها وتُجري خطوة تحديث واحدة مشتركة. يضمن تطابق الأوزان بين جميع الوحدات لكنه يتطلب تزامناً يفرض حملاً تواصلياً.

A distributed training mode where all workers wait until they finish computing their local gradients, then exchange and average them before taking a single shared update step. Ensures weight consistency across workers but requires synchronization overhead.