Downpour SGD

أسلوب لتدريب الشبكات العصبية بالتوازي حيث تتدرّب عدة نسخ من النموذج على دفعات مختلفة وتُحدِّث نسخة مشتركة من المعاملات بشكل غير متزامن. يُسرِّع التدريب بشكل كبير مع تحمّل بعض الضوضاء في التحديثات.

A method for parallel neural network training where multiple model replicas train on different mini-batches and update a shared copy of parameters asynchronously. It significantly speeds up training while tolerating some noise in the parameter updates.