Warm Restarts

تقنية تُعيد تعيين معدل التعلم إلى قيمة مرتفعة دورياً أثناء التدريب مع الاحتفاظ بالمعاملات المُتعلَّمة، مما يتيح للمُحسِّن الإفلات من الحدود الدنيا المحلية واستكشاف مناطق جديدة في منظر دالة الخسارة.

A technique that periodically resets the learning rate to a high value during training while keeping the learned parameters, allowing the optimizer to escape local minima and explore new regions of the loss landscape.