Gradual Warmup

استراتيجية تدريب تبدأ بمعدّل تعلّم صغير ثم ترفعه خطياً إلى القيمة المستهدفة على مدار عدة حقب تدريبية أولية، تُستخدم لتجنّب تشتُّت التحسين في بداية التدريب بدفعات كبيرة حين تكون أوزان الشبكة سريعة التغيّر.

A training strategy that starts with a small learning rate and linearly ramps it up to the target value over the first few epochs, used to prevent optimization divergence early in large-batch training when network weights are changing rapidly.