المعجم

معدّل التعلّم المثلثي المائل

Slanted Triangular Learning Rate

جدول لمعدّل التعلّم يرتفع خطّياً خلال فترة إحماء قصيرة (عادةً 10% من التدريب) ثم يتناقص خطّياً خلال الباقي. الصعود السريع يساعد النموذج على الانتقال إلى منطقة جيدة في فضاء المعاملات، والتناقص الطويل يسمح بالصقل الدقيق.

A learning rate schedule that linearly increases during a short warmup (typically 10% of training) then linearly decays for the remainder. The fast ramp helps the model move to a good parameter region, and the long decay allows fine-grained refinement.

تُرجم أيضاًجدول التعلّم المثلثي المنحدر، STLR

أول ظهور في هذه المجموعة: الضبط الدقيق الشامل لنموذج اللغة من أجل تصنيف النصوص (2018)

يظهر في هذه الأوراق