المعجم

الإحماء

Warmup

مرحلة في بداية التدريب يرتفع فيها معدل التعلم تدريجياً من قيمة قريبة من الصفر إلى قيمته المستهدفة. تمنع الانحراف المبكر الناتج عن خطوات كبيرة حين لا تزال أوزان النموذج عشوائية.

A phase at the start of training where the learning rate gradually increases from near-zero to its target value. Prevents early divergence caused by large steps when model weights are still near random initialization.

تُرجم أيضاًمرحلة الإحماء، التسخين التدريجي

أول ظهور في هذه المجموعة: النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة (2017)

يظهر في هذه الأوراق