Slanted Triangular Learning Rate
معدّل التعلّم المثلثي المائل
جدول لمعدّل التعلّم يرتفع خطّياً خلال فترة إحماء قصيرة (عادةً 10% من التدريب) ثم يتناقص خطّياً خلال الباقي. الصعود السريع يساعد النموذج على الانتقال إلى منطقة جيدة في فضاء المعاملات، والتناقص الطويل يسمح بالصقل الدقيق.
A learning rate schedule that linearly increases during a short warmup (typically 10% of training) then linearly decays for the remainder. The fast ramp helps the model move to a good parameter region, and the long decay allows fine-grained refinement.
Also translated asجدول التعلّم المثلثي المنحدر، STLR
First appears in this corpus in: Universal Language Model Fine-Tuning for Text Classification (2018)
Appears in these papers