الانحدار العشوائي بالدفعات الكبيرة

منهجية من فيسبوك قدّمها غويال وزملاؤه عام 2017، بيّنت أنه يمكن تدريب ResNet-50 على إيماج نت في ساعة واحدة بدفعات بحجم 8 آلاف عبر التوسيع الخطي لمعدل التعلم مع فترة إحماء تدريجية، فأسّست ممارسات التدريب الموزَّع على نطاق واسع.

A methodology introduced by Goyal and colleagues at Facebook in 2017 showing that ResNet-50 could be trained on ImageNet in one hour with batch size 8,192 by linearly scaling the learning rate with a gradual warm-up phase, establishing best practices for large-scale distributed training.