معدّلات التعلّم الدورية لتدريب الشبكات العصبية

في كل خطوة من الانحدار التدريجي العشوائي، تُحدَّث أوزان الشبكة وفق القاعدة: $\theta_t = \theta_{t-1} - \eta \cdot \nabla L$، حيث $\eta$ هو معدّل التعلّم. هذا الرقم الواحد يحدّد حجم كل خطوة تحديث:

• كبير جداً: الخطوات تتجاوز النقطة الدنيا وتنفجر الخسارة — فيتشتّت التدريب تماماً.
• صغير جداً: الخطوات تتقدّم ببطء شديد، وغالباً يعلق المُحسِّن في نقاط صغرى محلية ضحلة أو فوق الهضاب المسطّحة عند نقاط السرج.
• مضبوط تماماً: المشكلة أنّ القيمة المثالية تتغيّر أثناء التدريب. في البداية نحتاج خطوات كبيرة لإحراز تقدّم سريع، ولاحقاً نحتاج خطوات صغيرة لصقل الحل.

الأسلوب التقليدي هو جدول إنقاص تدريجي: ابدأ بقيمة معقولة (مثلاً 0.1)، ثم اقسمها على 10 كل $N$ حقبة تدريبية. لكن تحديد قيمة البداية المناسبة ومُعامل القسمة وتوقيته يتطلّب بحثاً شبكياً مُكلفاً — وما ينجح مع ResNet على CIFAR-10 نادراً ما يصلح مع GoogLeNet على ImageNet.

الملاحظة الجوهرية لسميث تبدو غير بديهية: رفع معدّل التعلّم مؤقتاً قد يُسيء للأداء لحظياً، لكنه يُفيد التدريب على المدى البعيد. لماذا؟

تخيّل سطح الخسارة كتضاريس جبلية وعرة. معدّل التعلّم الثابت يجعل المُحسِّن يستقرّ في أقرب وادٍ — لكن ذلك الوادي قد يكون ضحلاً. دفعة مؤقتة بمعدّل أعلى تتيح للمُحسِّن أن يقفز فوق التلال المنخفضة ويستكشف وديان مجاورة قد تكون أعمق (خسارة أقل) وأعرض (تعميم أفضل).

وبشكل أدقّ، أظهر Dauphin وزملاؤه أنّ العقبة الحقيقية في الأمثَلة ليست النقاط الصُّغرى المحلية السيئة — بل نقاط السرج: مناطق مسطّحة يقترب فيها التدرّج من الصفر فيتوقّف التقدّم. معدّل التعلّم الأعلى يمنح المُحسِّن الزخم الكافي لتجاوز هذه الهضاب.

من هنا تأتي الوصفة البسيطة: بدلاً من إنقاص $\eta$ فحسب، اجعله يتأرجح في دورات بين حدٍّ أدنى $\eta_{min}$ وحدٍّ أعلى $\eta_{max}$. أبسط صيغة — السياسة المثلثية — ترفع القيمة خطياً من $\eta_{min}$ إلى $\eta_{max}$ خلال نصف دورة، ثم تخفضها خطياً في النصف الآخر.

يقترح سميث ثلاث سياسات، تشترك جميعها في مبدأ التأرجح لكنها تختلف في طريقة تغيّر السعة مع مرور الوقت:

• المثلثية (triangular): معدّل التعلّم يصعد خطياً ثم يهبط خطياً بين حدّين ثابتين، ويتكرر باستمرار. هذا هو الخيار الأبسط والأكثر متانة.
• المثلثية2 (triangular2): الشكل المثلثي ذاته، لكنّ سعة التأرجح (الفرق بين الحدّ الأعلى والأدنى) تنخفض إلى النصف مع نهاية كل دورة. الفائدة أنّ الدورات الأولى تستكشف بجرأة، والدورات اللاحقة تُنقّح بدقة.
• النطاق الأُسّي (exp_range): الحدود نفسها تتقلّص أُسّياً بمعامل $\gamma^{\text{iteration}}$. هذا الخيار مفيد حين تريد تقلّصاً سلساً ومستمراً بدلاً من قفزات مفاجئة.

النتيجة واحدة في الحالات الثلاث: معدّل التعلّم يقضي معظم وقته في منطقة بين الحدّين، فإذا كانت القيمة المثلى تقع ضمن هذا النطاق، فإنّ المُحسِّن يمرّ عليها بانتظام.

قبل أن نرى الصيغة، لنبنِ الصورة الذهنية أولاً. تخيّل خطاً زمنياً مقسّماً إلى دورات متساوية، وكل دورة فيها نصف صاعد ونصف هابط. في أي لحظة أثناء التدريب نسأل: أين أنا داخل الدورة الحالية؟ الجواب هو رقم $x$ بين 0 و1 يُعبّر عن مقدار ما قطعناه من الصعود أو الهبوط. نضرب هذا الرقم في سعة التأرجح ونضيف الحدّ الأدنى — وهذا كل ما في الأمر.

في حالة المثلثية2: اقسم السعة على $2^{\text{cycle}-1}$ فتنخفض إلى النصف مع كل دورة جديدة. أمّا في النطاق الأُسّي: اضرب السعة في $\gamma^t$ حيث $\gamma$ قريبة من 1 (مثلاً 0.99994).

معدّل التعلّم الدوري يحتاج إلى رقمين: $\eta_{min}$ و$\eta_{max}$. السؤال: كيف نحدّدهما؟ هنا يأتي ابتكار سميث الذكي — اختبار نطاق معدّل التعلّم:

1. ابدأ بمعدّل تعلّم صغير جداً (مثلاً $10^{-7}$).
2. درِّب لبضع حقب مع رفع خطّي لـمعدّل التعلّم بعد كل دفعة صغيرة حتى يبلغ قيمة كبيرة (مثلاً 1.0).
3. ارسم الخسارة (أو الدقة) مقابل معدّل التعلّم.

الرسم الناتج يُخبرك بكل شيء. النقطة التي تبدأ عندها الخسارة بالانخفاض هي $\eta_{min}$ المناسب. والنقطة التي تتوقف فيها عن الانخفاض وتبدأ بالصعود أو التذبذب العنيف هي $\eta_{max}$ المناسب. الاختبار لا يحتاج إلا تشغيلاً قصيراً واحداً — عادةً من 1 إلى 3 حقب — ويُغنيك عن أيام من البحث الشبكي.

المُعامل الثالث هو حجم الخطوة (stepsize) — أي عدد التكرارات في نصف دورة. توصية سميث هي ضبطه بين 2 إلى 10 أضعاف عدد التكرارات في حقبة تدريبية واحدة. على سبيل المثال: مجموعة CIFAR-10 تحتوي 50,000 صورة مع حجم دفعة يساوي 100، أي أنّ الحقبة = 500 تكرار. حجم خطوة بين 2,000 و5,000 يؤدي الغرض.

من التجارب تبرز قاعدتان عمليتان:

• نفّذ 3 دورات كاملة على الأقل حتى يستكشف معدّل التعلّم سطح الخسارة استكشافاً كافياً. أربع دورات فأكثر تعطي نتائج أفضل.
• أوقف التدريب في نهاية دورة — أي عندما يكون معدّل التعلّم عند حدّه الأدنى والدقة في ذروتها. إيقاف التدريب في منتصف دورة يعني إهدار مرحلة الاستكشاف التي أجراها المعدّل العالي دون حصاد نتائجها.

سؤال طبيعي: هل معدّلات التعلّم الدورية تفيد فقط مع الانحدار التدريجي العشوائي العادي؟ اختبر سميث CLR مع عدة مُحسِّنات تكيّفية على CIFAR-10: منها زخم نسترُوف، وAdam، وRMSProp، وAdaGrad، وAdaDelta. النتائج كانت واضحة:

• مع نسترُوف+CLR: التدريب يصل إلى دقة 81.3% في 25,000 تكرار — بينما يحتاج نسترُوف وحده إلى 70,000 تكرار لتحقيق النتيجة ذاتها.
• مع Adam: المكاسب متواضعة، لأنّ المعدّل التكيّفي يعالج جزءاً كبيراً من المشكلة بنفسه أصلاً.
• مع AdaGrad+CLR: الدقة قفزت من 74.6% إلى 76.0% في ثلث عدد التكرارات.

الخلاصة أنّ CLR أداة مُكمِّلة لا مُنافِسة. المُحسِّنات التكيّفية تضبط معدّلات التعلّم لكل معامل على حدة، بينما CLR يضبط جدول المعدّل الشامل. كلاهما يحلّ مشكلة مختلفة، ويمكن استخدامهما معاً.

اختبر سميث CLR على تشكيلة متنوعة من البنى ومجموعات البيانات عمداً، ليُثبت أنّ الأسلوب ليس خدعة تنفع في حالة واحدة:

• CIFAR-10 (خط أساس Caffe): المثلثية2 وصلت إلى دقة 81.4% في 25,000 تكرار بدلاً من 70,000 — أي تسريع بمقدار 2.8 ضعف.
• ResNet-56 على CIFAR-10/100: CLR رفع الدقة من 92.8% إلى 93.6% على CIFAR-10، ومن 71.2% إلى 72.5% على CIFAR-100.
• DenseNet على CIFAR-10/100: الدقة ارتفعت من 94.5% إلى 94.9% على CIFAR-10، ومن 75.3% إلى 75.9% على CIFAR-100.
• AlexNet على ImageNet: المثلثية2 حسّنت الدقة من 58.0% إلى 58.4%.
• GoogLeNet على ImageNet: المثلثية2 حسّنت الدقة من 63.0% إلى 64.4% — وهو فارق ملموس على نطاق ImageNet.

النمط واضح ومتسق: CLR إمّا يُطابق أفضل جدول ثابت أو متناقص، أو يتفوّق عليه — وغالباً بعدد تكرارات أقل.

اختبار نطاق معدّل التعلّم وحده كان كافياً لجعل هذه الورقة مرجعاً أساسياً. ومع إضافة السياسات الدورية، حصل الممارسون على سير عمل متكامل ومنهجي: اختبر مرة واحدة، حدّد الحدود، شغّل الدورات، وانتهيت. لا تخمين، لا بحث شبكي، لا ساعات GPU مُهدَرة.