فصل اضمحلال الأوزان عن التحديث التكيُّفي

لعقود طويلة، عُومِلت تقنيتا تنظيم وكأنهما شيء واحد:

تنظيم L2 يُضيف حدّ عقوبة إلى دالة الخسارة يتناسب مع مربع قيم الأوزان: $L_{reg} = L + \frac{\lambda'}{2}\|\theta\|^2$. تدرُّج هذه العقوبة هو $\lambda'\theta$ ويُضاف إلى تدرُّج الخسارة الأصلي.

اضمحلال الأوزان يُقلّص الأوزان مباشرةً بنسبة ثابتة في كل خطوة: $\theta_{t+1} = (1 - \lambda)\theta_t - \alpha \nabla f_t(\theta_t)$.

في النزول التدريجي العشوائي القياسي، الاثنان متكافئان رياضياً (حيث $\lambda' = \lambda / \alpha$). لكن هذا التكافؤ ينهار عند استخدام مُحسِّن تكيُّفي مثل آدام — وهذا الانهيار كان السبب الخفيّ وراء ضعف تعميم آدام.

جوهر المشكلة بسيط. آدام يقسم كل تدرُّج على الجذر التربيعي للمتوسط المتحرّك لمربعات التدرجات — وهذا ما يُنتِج معدَّل التعلُّم التكيُّفي. حين نستخدم تنظيم L2، فإن تدرُّج العقوبة $\lambda'\theta$ يمرّ هو أيضاً عبر هذا التقييس التكيُّفي.

لنأخذ وزناً تدرجاته كانت كبيرة تاريخياً: مقام آدام $\sqrt{\hat{v}_t}$ سيكون كبيراً لهذا الوزن، فيصير معدل التعلم الفعلي صغيراً. لكن المقام الكبير نفسه يُقلّص إشارة التنظيم أيضاً — أي أن الأوزان ذات التدرجات الكبيرة تحصل على تنظيم أقل. الآلية التكيُّفية التي صُمِّمت لتسريع التقارب تُقوّض التنظيم من دون أن يلاحظ أحد.

والعكس صحيح: وزن ذو تدرجات صغيرة يُقسَم على مقام صغير فيتضخّم التحديث والتنظيم معاً — أي أن الأوزان الهادئة تُعاقَب أكثر من اللازم. هذا عكس التنظيم المنتظم الذي نريده تماماً.

إصلاح AdamW بسيط لدرجة مُحرجة. بدلاً من إضافة حدّ التنظيم إلى دالة الخسارة (حيث يتشابك مع المعدلات التكيُّفية)، نُطبّق اضمحلال الأوزان مباشرةً على المعاملات كخطوة منفصلة بعد التحديث التكيُّفي:

1. نحسب تدرُّج دالة الخسارة فقط (بلا حدّ L2)
2. نُحدّث العزمَين التكيُّفيَّين $m_t$ و $v_t$ بهذا التدرُّج النظيف
3. نحسب الخطوة التكيُّفية بعد تصحيح الانحياز: $\frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$
4. بشكل منفصل نُقلّص الأوزان: $\theta_t \leftarrow \theta_{t-1} - \eta_t\left(\alpha \frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon} + \lambda\,\theta_{t-1}\right)$

حدّ اضمحلال الأوزان $\lambda\,\theta_{t-1}$ لا يمسّ الآلية التكيُّفية مطلقاً. كل وزن يضمحلّ بالمعدل نفسه $\lambda$ بصرف النظر عن تاريخ تدرجاته.

خوارزمية AdamW الكاملة تكاد تكون نسخة طبق الأصل من آدام — كل سطر هو نفسه ما عدا السطرين 6 و12. السطر 6 يحسب تدرُّج دالة الخسارة من دون إضافة حدّ التنظيم. والسطر 12 يطرح حدّ اضمحلال الأوزان خارج النسبة التكيُّفية ليبقى مستقلاً عنها. انقر على كل خطوة أدناه لفهم دورها:

من أبرز الفوائد العملية لفصل اضمحلال الأوزان أنه يجعل القيمة المُثلى لكلٍّ من معدَّل التعلُّم $\alpha$ ومُعامِل اضمحلال الأوزان $\lambda$ مستقلة عن الأخرى إلى حدٍّ كبير. في آدام القياسي مع تنظيم L2، هذان المُعامِلان الفائقان مترابطان بإحكام: تغيير أحدهما يستلزم إعادة ضبط الآخر. أفضل الإعدادات تقع على قطر في شبكة $(\alpha, \lambda)$ — لا يمكنك تحسين أحدهما مع تثبيت الآخر.

في AdamW الوضع مختلف: أفضل الإعدادات تشكّل منطقة مستطيلة. يمكنك إيجاد $\lambda$ جيّد و$\alpha$ جيّد كلٌّ على حدة، والجمع بينهما سيظلّ قريباً من الأمثل. هذا يختصر تكلفة البحث عن المعاملات الفائقة من شبكة ثنائية الأبعاد إلى مسحَين مستقلَّين أحاديَّي البعد.

يُبيّن البحث أيضاً أن آدام يستفيد كثيراً من جدولة معدَّل التعلُّم — رغم أنه مُحسِّن تكيُّفي. يقترح المؤلفان AdamWR: وهو AdamW مُقترناً بالتخفيض بجيب التمام وإعادة التشغيل الدافئة من بحثهم السابق SGDR. مُضاعِف معدَّل التعلُّم يتبع المعادلة:

$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\pi T_{cur}/T_i))$

يبدأ معدَّل التعلُّم مرتفعاً ويتراجع بسلاسة نحو الصفر وفق منحنى جيب التمام، ثم «يُعاد تشغيله» — أي يقفز عائداً إلى القمة ويتكرر. كل فترة إعادة تشغيل $T_i$ يمكن أن تنمو بمُعامِل $T_{mult}$ (مثلاً 100 ← 200 ← 400 حقبة تدريبية). الفائدة أن هذا يمنح المُحسِّن فرصة للإفلات من الحدود الدنيا المحلية واستكشاف مناطق جديدة في فضاء دالة الخسارة.

الفكرة الجوهرية هنا أن معدلات التعلُّم التكيُّفية (الخاصة بكل معامل) وجداول معدَّل التعلُّم الشاملة تخدم أغراضاً مختلفة وتتكامل بامتياز. المعدلات التكيُّفية تتولّى الاتجاه، بينما الجدول الشامل يتولّى التوازن بين الاستكشاف والاستغلال.

لبناء حدس عن دور اضمحلال الأوزان، تخيّل كل وزن نابضاً مربوطاً بالصفر. في كل خطوة تدريب، التدرُّج يسحب الوزن نحو النقطة التي تُقلّل الخسارة، لكن النابض يجذبه عائداً نحو الصفر. التوازن بين هاتين القوتين يُحدّد الحجم النهائي للوزن.

حين نستخدم تنظيم L2 داخل آدام، تتفاوت شدّة النابض من وزن لآخر (لأن المعدلات التكيُّفية تُعدّلها). أمّا مع اضمحلال الأوزان المفصول، فشدّة النابض واحدة — كل وزن يشعر بالسحب نفسه نحو الصفر. هذا الانتظام يُشجّع على قيم أوزان أصغر وأكثر توزُّعاً، وهي التي تُعمّم بشكل أفضل عادةً.

اختبر المؤلفان AdamW مقابل آدام القياسي (مع تنظيم L2) عبر إعدادات متعددة على CIFAR-10 وImageNet32x32. وجاءت النتائج متّسقة:

• حقّق AdamW تحسّناً نسبياً بنسبة 15% في خطأ الاختبار على CIFAR-10 مقارنةً بآدام مع تنظيم L2.
• التخفيض بجيب التمام مع إعادة التشغيل الدافئة (AdamWR) سرّع التقارب بمعدّل يصل إلى 10 أضعاف في المراحل المبكرة من التدريب.
• المُعاملات الفائقة المُثلى لـ AdamW كانت أسهل في الفصل بكثير: يمكن ضبط معدَّل التعلُّم واضمحلال الأوزان بشكل مستقل، ما يختصر وقت الضبط بشكل كبير.
• عند قيم خسارة تدريب متقاربة، أظهر AdamW باستمرار خطأ اختبار أفضل — وهذا دليل على تحسُّن حقيقي في التعميم وليس مجرد تقارب أسرع.
• أغلق AdamW معظم الفجوة بين آدام والنزول التدريجي العشوائي مع الزَّخم، فأصبح اختيار المُحسِّن أقل عشوائية.

لاحظ المؤلفان أن القيمة المُثلى لـاضمحلال الأوزان تعتمد على ميزانية التدريب الإجمالية — كلما طال التدريب احتجنا $\lambda$ أصغر. فاقترحا اضمحلال أوزان مُقيَّساً لتقليل هذا الاعتماد: $\lambda = \lambda_{norm}\sqrt{b / (BT)}$، حيث $b$ هو حجم الدُفعة و$B$ حجم مجموعة البيانات و$T$ عدد الحِقَب التدريبية. بهذه الطريقة يبقى $\lambda_{norm}$ ثابتاً تقريباً مهما تغيّرت مدة التدريب أو تغيّرت مجموعة البيانات.

هذا التقييس ليس اكتشافاً نظرياً عميقاً — التقييس بالجذر التربيعي حُدِّد تجريبياً. لكن فائدته العملية كبيرة: قيمة $\lambda_{norm}$ جيدة تُكتشَف في تجارب قصيرة تنتقل بسلاسة إلى التجارب الطويلة.

العنوان الأصلي للورقة على arXiv كان «إصلاح تنظيم اضمحلال الأوزان في آدام» — عنوان صادق ومُنعش. إعادة تسميته لاحقاً بالعنوان الأكاديمي «فصل تنظيم اضمحلال الأوزان» أخفت الروح الحقيقية: كان هذا إصلاح خلل برمجي. أهمّ إصلاح خلل في تاريخ تحسين التعلُّم العميق.