الانحدار العشوائي بإعادات دافئة

جدولة معدل تعلم اقترحها لوشيلوف وهوتير، تُخفِّض معدل التعلم وفق منحنى جيب تمام حتى قيمة صغيرة ثم تُعيد رفعه دورياً، مما يساعد الانحدار العشوائي على الإفلات من المستقرات الرديئة وقد يُنشئ ضمنياً مجموعة نماذج أثناء التدريب.

A learning-rate schedule proposed by Loshchilov and Hutter that decays the learning rate along a cosine curve down to a small value and then periodically resets it, helping SGD escape poor plateaus and implicitly building an ensemble of snapshots during training.