Cosine Learning Rate Schedule

جدول لمعدل التعلم يتّبع منحنى جيب التمام، يبدأ مرتفعاً بعد فترة إحماء ثم يتناقص بسلاسة نحو الصفر. يُستخدم على نطاق واسع في التدريب المسبق واسع النطاق بما فيه LLaMA.

A learning rate schedule that follows a cosine curve, starting high after a warmup period and smoothly decaying to near zero. Widely used for large-scale pre-training including LLaMA.