Warm Restart

أسلوب يُعاد فيه رفع معدّل التعلّم دورياً إلى قيمة عالية بعد تقاربه، بدلاً من استمراره في الانخفاض. يستكشف مناطق جديدة من سطح الخسارة مع كل إعادة تشغيل.

A technique that periodically resets the learning rate to a high value after it has converged, instead of letting it continue to decay. Each restart explores new regions of the loss landscape.