الإحماء
Warmup
مرحلة في بداية التدريب يرتفع فيها معدل التعلم تدريجياً من قيمة قريبة من الصفر إلى قيمته المستهدفة. تمنع الانحراف المبكر الناتج عن خطوات كبيرة حين لا تزال أوزان النموذج عشوائية.
A phase at the start of training where the learning rate gradually increases from near-zero to its target value. Prevents early divergence caused by large steps when model weights are still near random initialization.
تُرجم أيضاًمرحلة الإحماء، التسخين التدريجي
أول ظهور في هذه المجموعة: النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة (2017)
يظهر في هذه الأوراق
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- أمثَلة الدُّفعات الكبيرة للتعلُّم العميق: تدريب BERT في 76 دقيقة2019في السماء ✦
- النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة2017في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- Sentence-BERT: تضمينات الجمل باستخدام شبكات BERT السيامية2019في السماء ✦