النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة

تدريب شبكة عميقة يعني تكرار المرور على البيانات وتحديث الأوزان بعد كل دفعة صغيرة. مع 8 وحدات معالجة رسومية و32 صورة لكل وحدة، تكون الدفعة 256 صورة ويحتاج تدريب ResNet-50 على ImageNet نحو 29 ساعة.

الفكرة المغرية واضحة: استخدم 256 وحدة (أكثر بـ 32 مرة)، وزِّع الدفعة بالتساوي، وأنهِ التدريب في ساعة واحدة تقريباً. كل وحدة تحسب التدرُّجات على صورها الـ 32، ثم تتشارك جميع الوحدات تدرُّجاتها وتأخذ خطوة تحديث واحدة. هذا هو مبدأ توازي البيانات المتزامن.

لكن لإبقاء كل وحدة مشغولة فعلاً، يجب أن يصل حجم الدفعة الكلّي إلى 8192 صورة. والمشكلة أن التدريب بدفعة بهذا الحجم دون ضوابط يُشتِّت دالة الخسارة أو يُسقط الدقة النهائية بنسبة 1–2%. في 2017 لم يكن واضحاً: هل هذه مشكلة تعميم جوهرية لا مفرّ منها، أم عقبة تحسينية يمكن تجاوزها؟

الفكرة الأساسية أبسط مما تتوقع. تخيّل أنك في الوضع العادي تأخذ k خطوات صغيرة بمعدّل تعلّم $\eta$، كل خطوة على دفعة مختلفة من $n$ صورة. الآن تريد أن تستبدلها بـخطوة واحدة كبيرة على $kn$ صورة مجتمعة. لكي تُعطي الخطوة الكبيرة نفس الأثر تقريباً، عليك ضبط معدّل التعلُّم على $\hat{\eta} = k\eta$.

والسبب منطقي: بعد k خطوة صغيرة، يكون تحديث الأوزان الكلّي هو تراكم متوسطات التدرُّج من كل الخطوات. الخطوة الكبيرة تأخذ المتوسط على kn عيّنة دفعة واحدة. ما دامت التدرُّجات لا تتغيّر كثيراً بين خطوة وأخرى — أي $\nabla l(x, w_t) \approx \nabla l(x, w_{t+j})$ لقيم $j$ صغيرة — فإن ضرب معدّل التعلّم في $k$ يكفي لجعل الخطوة الكبيرة تُكافئ الخطوات الصغيرة المتراكمة.

هذا هو ما يُعرف بـقاعدة القياس الخطّي: كبِّر حجم الدُّفعة $k$ مرة، وكبِّر معدّل التعلّم $k$ مرة معه.

تخيّلها كالمشي مقابل القفز: 32 خطوة قصيرة توصلك مسافة معيّنة. لو أردتَ الوصول لنفس النقطة بقفزة واحدة، يجب أن تكون أطول بـ 32 مرة. معدّل التعلُّم هو بالضبط طول هذه القفزة في عملية التحسين.

قاعدة القياس الخطّي تفترض أن التدرُّجات لا تتغيّر كثيراً بين خطوة وأخرى. في بداية التدريب، هذا الافتراض لا يصمد إطلاقاً — الأوزان تتغيّر بعنف، والتدرُّج عند الخطوة $t$ يختلف جذرياً عنه عند $t+1$.

لو بدأت مباشرة بـمعدّل تعلُّم $\hat{\eta} = 3.2$ (أي 32 ضعف المعدّل الأساسي)، التدريب ينهار من التكرار الأول. الحل؟ ابدأ بهدوء ثم ارفع تدريجياً.

الورقة جرّبت طريقتين:

• الإحماء الثابت: استخدم $\eta = 0.1$ لخمس حقب ثم اقفز فجأة إلى $\hat{\eta} = 3.2$. والنتيجة؟ الأداء ساء أكثر — القفزة المفاجئة رفعت خطأ التدريب بحدّة ولم يتعافَ النموذج منها أبداً.
• الإحماء التدريجي: ابدأ من $\eta = 0.1$ ثم ارفعه خطياً نحو $\hat{\eta} = 3.2$ على مدار 5 حقب. هذا نجح تماماً — منحنى التدريب طابق منحنى الدفعة الصغيرة بدقة عالية.

هناك نقطة دقيقة لكنها حاسمة. تسوية الدُّفعات تحسب المتوسط والتباين عبر عيّنات الدفعة. معنى ذلك أن خسارة كل عيّنة مرتبطة ببقية العيّنات في دفعتها — وبالتالي دالة الخسارة نفسها تتغيّر حين يتغيّر حجم الدُّفعة.

الحل أنيق: أبقِ إحصاءات التسوية لكل وحدة معالجة ثابتة عند $n = 32$ عيّنة، مهما كان العدد الكلي للوحدات. حتى لو كانت الدفعة الكلية 8192 صورة موزّعة على 256 وحدة، كل وحدة تحسب إحصاءات التسوية على صورها الـ 32 فقط. بهذا تبقى دالة الخسارة واحدة لا تتغيّر، وتتجنب تكلفة تبادل الإحصاءات بين الوحدات.

الورقة أظهرت أن حساب الإحصاءات على كامل الـ 8192 عيّنة يُغيّر دالة الخسارة فعلياً ويُضعف الدقة. الخلاصة: حجم دفعة التسوية معامل فائق يخصّ التسوية وحدها، لا التدريب الموزَّع.

الورقة رصدت عدة أخطاء تنفيذية يسهل الوقوع فيها في التدريب الموزَّع:

اضمحلال الأوزان لا يُعامَل كمعدّل التعلّم. دالة الخسارة تتضمن حدّ تنظيم $\frac{\lambda}{2}\|w\|^2$. قسمة خسارة الإنتروبيا التقاطعية على حجم الدفعة الكلي لا يُغني عن ضبط معدّل التعلّم، لأن حدّ اضمحلال الأوزان يحتاج معالجة مستقلة. الخطأ هنا خبيث: النموذج يتدرّب ويبدو طبيعياً، لكن دقته أقل مما ينبغي ويصعب اكتشاف السبب.

تصحيح الزَّخم. هناك صيغتان شائعتان لـالنزول التدرُّجي العشوائي بزخم. في الأولى، متجه التحديث $u$ مستقل عن $\eta$. في الثانية، $v = \eta u$، فيصبح مخزن الزَّخم مربوطاً بـمعدّل التعلُّم. حين يتغيّر $\eta$ أثناء الإحماء، تحتاج الصيغة الثانية معامل تصحيح $\frac{\eta_{t+1}}{\eta_t}$ يُطبَّق على المخزن. بدون هذا التصحيح، الانتقال من الإحماء إلى المعدّل الكامل يُزعزع استقرار التدريب.

تسوية التدرُّجات. كل عامل يُسوّي تدرُّجاته بحجم دفعته المحلية $n$، لكن عملية allreduce تَجمع التدرُّجات ولا تُتوسِّطها. لذلك يجب القسمة على حجم الدفعة الكلّي $kn$ وليس $n$ وحده. تجاهل هذه النقطة يعني أنك تستخدم معدّل تعلّم فعلياً مختلفاً عمّا تظنّه.

النتائج واضحة ومقنعة. باستخدام قاعدة القياس الخطّي والإحماء التدريجي، حقّق ResNet-50 المُدرَّب بدفعة 8192 صورة خطأ top-1 بنسبة 23.74% — مقابل 23.60% لخط الأساس بدفعة 256 صورة. الفارق 0.14% فحسب، وهو ضمن هامش التذبذب العشوائي (±0.12%).

والأهم أن منحنيات التدريب للدفعات الكبيرة والصغيرة تطابقت بدقة عالية بعد الإحماء. هذا دليل قوي على أن المشكلة كانت تحسينية بحتة في المراحل الأولى، وليست مشكلة تعميم عميقة.

الورقة اختبرت أحجام دفعات تتراوح من 64 إلى 65,536. الدقة بقيت مستقرة حتى 8192، ثم بدأت بالتراجع عند 16 ألفاً وانهارت تماماً عند 64 ألفاً. النقطة المثلى لـ ImageNet مع ResNet-50 كانت حول 8 آلاف — وهو الحدّ الذي يبدأ بعده افتراض استقرار التدرُّجات بالتفكك حتى مع الإحماء.

السؤال الحاسم: هل الخصائص التي تعلّمها النموذج بدفعات كبيرة تنتقل لمهام أخرى بنفس الكفاءة؟ لاختبار ذلك، درّب الباحثون ResNet-50 بأحجام دفعات مختلفة (من 256 إلى 16 ألفاً)، ثم استخدموا كل نموذج لتهيئة Mask R-CNN لاكتشاف الأجسام على مجموعة COCO.

النتيجة: ما دام خطأ التحقق على ImageNet منضبطاً (أحجام دفعات حتى 8 آلاف)، كانت دقة الاكتشاف على COCO مطابقة تماماً لخط أساس الدفعة الصغيرة — 35.8% دقة صندوق AP و33.9% دقة قناع AP بصرف النظر عن حجم الدفعة. لا فجوة تعميم حتى عند الانتقال بين مجموعتي بيانات مختلفتين ومهمتين مختلفتين معاً.

بل إن قاعدة القياس الخطّي نجحت أيضاً حين طُبِّقت مباشرة على تدريب Mask R-CNN نفسه من وحدة واحدة إلى 8 وحدات، مما يُؤكّد أن الفكرة ليست خاصة بالتصنيف وحده.

لا فائدة من الخوارزمية إذا صار التواصل بين الوحدات هو العائق. تصميم النظام في هذه الورقة حقّق كفاءة توسُّع تقارب 90% من 8 إلى 256 وحدة معالجة، باستخدام شبكة Ethernet عادية بسرعة 50 غيغابت — دون الحاجة لشبكات ربط متخصصة.

الحيلة الأساسية هي تداخل التواصل مع الحساب: أثناء الانتشار الخلفي، بمجرّد حساب تدرُّجات طبقة ما، تُرسل فوراً لعملية allreduce بينما تُحسَب تدرُّجات الطبقة التالية. النتيجة أن معظم زمن التواصل يختبئ خلف حسابات مفيدة تجري بالتوازي.

لعملية allreduce ذاتها، استخدمت الورقة خوارزمية التنصيف والمضاعفة التكرارية (recursive halving-doubling)، وهي أسرع بـ 3 أضعاف من خوارزمية الحلقة المعتادة لأحجام مخازن التدرُّجات النموذجية، إذ تعمل في $2\log_2(p)$ خطوة بدلاً من $2(p-1)$ حيث $p$ عدد الخوادم.

تعديل صغير لكن أثره ملموس: في كل كتلة متبقية، يُهيَّأ معامل التقييس $\gamma$ في آخر طبقة تسوية دُفعات بالقيمة 0 بدلاً من 1 المعتادة. عملياً، هذا يعني أن الكتلة المتبقية تبدأ صامتة تماماً — كل الإشارات تمرّ عبر وصلة التخطّي فقط كأن الكتلة غير موجودة. ومع تقدّم التدريب، ينمو $\gamma$ تلقائياً ويبدأ الفرع المتبقي بالمساهمة شيئاً فشيئاً.

هذا التعديل حسّن الدقة لجميع أحجام الدفعات، لكن أثره كان الأوضح مع الدفعات الكبيرة: قلّص الفجوة من 0.51% (بالتهيئة المعتادة) إلى 0.14% فقط.