الإسقاط العشوائي: طريقة بسيطة لمنع الشبكات العصبية من فرط التخصيص

حين تملك شبكة عصبية عميقة ملايين المعاملات، تصبح لديها سعة كافية لحفظ كل مثال تدريبي حرفياً — لكن الحفظ نقيض التعلّم. الشبكة التي تحفظ بياناتها تؤدي أداءً ممتازاً على بيانات التدريب، لكنها تنهار أمام أي بيانات جديدة. هذه الفجوة بين أداء التدريب وأداء الاختبار هي ما نسمّيه فرط التخصيص، وقد كانت العقبة العملية الأبرز أمام تدريب الشبكات الكبيرة في مطلع عام 2010.

قبل ظهور الإسقاط العشوائي، كان لدى الممارسين أدوات محدودة: التوقف المبكر (أوقف التدريب قبل أن تبدأ الشبكة بالحفظ)، واضمحلال الأوزان (عاقب الأوزان الكبيرة لتبقى صغيرة)، وتوسيع البيانات (اعرض على الشبكة نسخاً مشوّهة من أمثلة التدريب). أدوات مفيدة، لكن الأسلوب الأنجع بينها كان النماذج التجميعية — درّب 5 إلى 10 شبكات مستقلة ثم احسب متوسط تنبؤاتها. السر في نجاحها أن كل شبكة تخطئ في أماكن مختلفة، فيلغي المتوسط تلك الأخطاء.

المشكلة أن تدريب شبكة واحدة كبيرة قد يستغرق أسبوعاً، فتدريب عشرٍ منها يعني عشرة أسابيع. والاستدلال بعشر شبكات أبطأ بعشر مرات. بالنسبة للبنى الضخمة التي بدأ المجال يستكشفها، كانت تكلفة النماذج التجميعية تتجاوز الإمكانيات العملية.

فكرة الإسقاط العشوائي بسيطة بشكل لافت. في كل خطوة تدريب، يُطفَأ كل عصبون في الطبقة الخفية بشكل مستقل (يُضبط ناتجه على صفر) باحتمال $1 - p$، حيث $p$ هو احتمال الإبقاء. الإعداد المعتاد هو $p = 0.5$ للطبقات الخفية و$p = 0.8$ لطبقة الدخل — لأن المُدخلات تحمل إشارة خاماً فنُسقط عدداً أقل منها.

كل خطوة تدريب تستخدم إذن شبكة مُرقَّقة عشوائية مختلفة، أي شبكة فرعية لا تتضمن إلا العصبونات الناجية ووصلاتها. ولأن إدراج كل عصبون أو استبعاده يجري باستقلالية، فإن شبكة فيها $n$ عصبوناً تُنتج $2^n$ شبكة فرعية محتملة. تخيّل الأمر كأنك في كل دُفعة صغيرة تسحب بنية مختلفة من عائلة ضخمة أُسّياً، ثم تتشارك جميع هذه البنى تحديثات الأوزان ذاتها.

الآلية تعتمد على بوابة عشوائية بسيطة هي تجربة برنولي: لكل عصبون، ارمِ عملة منحازة — إن ظهر الوجه (باحتمال $p$) يبقى العصبون، وإلا يُسكَت.

في الشبكة العادية، يُحسب ناتج الطبقة $l$ من تنشيطات الطبقة السابقة. الإسقاط العشوائي يُضيف سطراً واحداً فقط: قبل تمرير التنشيطات إلى الطبقة التالية، اضربها عنصراً بعنصر في قناع ثنائي عشوائي. وإليك ما يحدث في كل خطوة من التمرير الأمامي المُعدَّل:

1. ولِّد القناع. لكل عصبون في الطبقة $l$، اسحب عيّنة مستقلة من توزيع برنولي باحتمال $p$. تحصل على متجه ثنائي $r^{(l)}$ من آحاد وأصفار — الواحد يعني «أبقِ» والصفر يعني «أسقِط».

2. طبّق القناع. اضرب ناتج الطبقة عنصراً بعنصر في هذا القناع: $\tilde{y}^{(l)} = r^{(l)} * y^{(l)}$. كل صفر في $r$ يُسكت العصبون المقابل له.

3. مرِّر للأمام. استخدم الناتج المُقنَّع $\tilde{y}^{(l)}$ مدخلاً للطبقة التالية. هكذا ترى كل طبقة مجموعة فرعية عشوائية مختلفة من مدخلاتها في كل خطوة تدريب.

أثناء التدريب، كل عصبون يكون حاضراً بنسبة $p$ فقط من الوقت. عند الاختبار نستخدم جميع العصبونات — لكن الإشارة الكلية التي تصل لكل طبقة تصبح أكبر مما تدرّبت الشبكة على التعامل معه، فنحتاج لتعويض هذا الفرق.

الحل بسيط: اضرب كل وزن في $p$ عند الاختبار. إن كان العصبون حاضراً 50% من الوقت أثناء التدريب ($p = 0.5$)، فتقليص أوزانه الصادرة للنصف عند الاختبار يحافظ على المقدار المتوقع للإشارة. عملية الضرب هذه وحدها هي التي تتيح لنا تقريب متوسط $2^n$ شبكة مُرقَّقة دون تشغيلها فعلياً.

عملياً، تستخدم معظم أُطر العمل ما يُعرف بـ**الإسقاط المقلوب** — وفيه نقسم التنشيطات على $p$ أثناء التدريب بدلاً من ضرب الأوزان عند الاختبار. الأثر الرياضي واحد، لكن الإسقاط المقلوب يجعل كود الاختبار أنظف: لا تقييس مطلوب، فقط أزل طبقة الإسقاط.

الزاوية الأولى — نموذج تجميعي ضمني. حين يكون لديك $n$ عصبوناً قابلاً للإسقاط، يزور التدريب في كل دُفعة صغيرة شبكة فرعية مختلفة من بين $2^n$ بنية ممكنة. كل شبكة فرعية تحصل على تحديث تدرُّج واحد وتتشارك الأوزان مع بقية الشبكات. عند الاختبار، يقرّب تقييس الأوزان عملية حساب المتوسط الهندسي عبر هذه المجموعة الأُسّية من النماذج. الفكرة تشبه أسلوب الـ bagging (التدريب على مجموعات فرعية مختلفة)، لكنها أرخص بكثير لأن جميع الشبكات الفرعية تتشارك المعاملات.

الزاوية الثانية — كسر التكيّف المشترك. بدون الإسقاط العشوائي، تبني العصبونات شراكات هشة: العصبون أ يتعلّم الاعتماد على ناتج العصبون ب تحديداً. هذه السمات المترابطة تعمل بلا خلل على بيانات التدريب، لكنها تتحطم أمام بيانات جديدة لأن تلك الشراكة رمّزت خصوصيات مجموعة التدريب لا أنماطها العامة. الإسقاط العشوائي يُجبر كل عصبون على أن يكون مفيداً بمفرده، مهما كانت المجموعة العشوائية من الزملاء الحاضرين معه — فتتشكل سمات متينة تنتقل إلى بيانات لم تُرَ من قبل.

الزاوية الثالثة — إلهام من البيولوجيا. استعار المؤلفون تشبيهاً من البيولوجيا التطورية: التكاثر الجنسي. في التكاثر اللاجنسي تُنسخ جينات الوالد كما هي، فتبقى مجموعات الجينات المتكيّفة معاً سليمة. أما في التكاثر الجنسي فتُخلط الجينات عشوائياً، فتتفكك التكيّفات المشتركة وتبقى فقط الجينات القوية بذاتها. على المدى التطوري، ينتج التكاثر الجنسي كائنات أمتن تحديداً لأن كل جين يجب أن يعمل جيداً ضمن خلفيات جينية متنوعة. الإسقاط العشوائي يفعل الشيء ذاته: كل عصبون يجب أن يؤدي دوره مهما كانت الشبكة الفرعية العشوائية المحيطة به.

قدّمت الورقة إرشادات عملية مفصّلة أصبحت معرفة راسخة في المجال:

• احتمال الإبقاء $p$. في الطبقات الخفية، الأفضل هو $p = 0.5$ لمعظم البنى — لأنه يُعظّم عدد الشبكات الفرعية الفريدة (المعامل ثنائي الحدّين $\binom{n}{n/2}$ يبلغ ذروته عند $n/2$). أما في طبقة الدخل، فالأفضل $p = 0.8$ لأن المُدخلات الخام تحمل إشارة مهمة وإسقاط كثير منها يُضعف التعلّم.

• تقييد الحد الأقصى للأوزان (max-norm). يعمل الإسقاط العشوائي بأفضل شكل حين يُقترن بتقييد طول متجه أوزان كل عصبون بحيث لا يتجاوز قيمة معيّنة: $\|w\| \leq c$ (عادة $c$ بين 3 و4). هذا يمنع الأوزان من النمو دون حدود استجابةً لضجيج الإسقاط. وعند الجمع بين الإسقاط العشوائي وتقييد الأوزان ومعدّلات تعلّم مرتفعة، تحققت أقوى النتائج.

• حجم الشبكة. مع الإسقاط العشوائي، الطبقات الأعرض (عصبونات أكثر في كل طبقة) تحسّن النتائج عموماً لأن السعة الفعلية لـالشبكة المُرقَّقة هي $p \times n$. طبقة فيها 2048 عصبوناً مع $p = 0.5$ عرضها الفعلي 1024 أثناء التدريب — فإذا أردت مكافأة شبكة بدون إسقاط بعرض 1024، ستحتاج تقريباً لمضاعفة حجم الطبقة.

• زمن التدريب. شبكات الإسقاط العشوائي تحتاج 2–3 أضعاف الوقت حتى تصل إلى التقارب. كل تحديث تدرُّج يكون أكثر ضجيجاً (لأنه محسوب على شبكة فرعية عشوائية)، فتحتاج الشبكة لخطوات أكثر. لكن هذه التكلفة أقل بكثير من تدريب نماذج تجميعية منفصلة.

اختبر المؤلفون الإسقاط العشوائي على طيف واسع من المهام. على MNIST (أرقام مكتوبة بخط اليد)، قلّص خطأ الاختبار لشبكة تمرير أمامي عادية. وعلى CIFAR-10 وCIFAR-100 (صور طبيعية)، حقق مع الشبكات الالتفافية أرقاماً قياسية جديدة. وعلى ImageNet (1.2 مليون صورة و1000 صنف)، كان مكوّناً محورياً في البنية الفائزة.

ولم تقتصر الفائدة على الرؤية الحاسوبية، بل حسّن الإسقاط العشوائي النتائج في التعرف على الكلام (TIMIT) وتصنيف النصوص (Reuters) وحتى في الأحياء الحاسوبية (التنبؤ بأنماط القص البديل في الـ RNA). هذا الثبات في التحسّن عبر مجالات شديدة التنوع كان الحجة الأقوى في الورقة: الإسقاط العشوائي ليس أداة مخصصة لمجال بعينه — بل هو أداة ضبط عامة الأغراض.

وحين قارن المؤلفون أساليب الضبط المختلفة على بنية ثابتة، وجدوا أن الإسقاط العشوائي وحده تفوّق على اضمحلال الأوزان بنوعيه L2 وL1 وعلى ضبط التشتت KL. والجمع بين الإسقاط العشوائي وتقييد الحد الأقصى للأوزان أعطى أدنى خطأ بين جميع الأساليب المُختبرة.

اكتشف المؤلفون أثراً جانبياً لافتاً: شبكات الإسقاط العشوائي تُنتج تلقائياً تنشيطات متفرقة — معظم العصبونات الخفية تُخرج صفراً حتى بعد إيقاف الإسقاط وقت الاختبار. دون فرض أي عقوبة تشجع التفرُّق، تتعلّم الشبكة من تلقاء نفسها أن تمثّل كل مُدخل بعدد صغير فقط من العصبونات.

السبب أن الإسقاط العشوائي يدرّب كل عصبون على أن يكون مفيداً بذاته. العصبون الذي لا ينشط إلا في سياقات محددة — حيث يساهم فعلاً — ويبقى صامتاً فيما عدا ذلك، هو بالضبط نوع السمة الذي ينجو من فوضى الإسقاط العشوائي. النتيجة أن الشبكة تكتشف تلقائياً تمثيلات مضغوطة وأسهل في التفسير.

المبدأ الذي أرساه الإسقاط العشوائي — احقن ضجيجاً مُهيكلاً أثناء التدريب — أطلق عائلة كاملة من الأساليب اللاحقة. DropConnect (2013) يُسقط أوزاناً فردية بدل عصبونات كاملة. العمق العشوائي (2016) يُسقط كتلاً استبقائية كاملة في شبكات ResNet. DropBlock (2018) يُسقط مناطق مكانية متجاورة من خرائط السمات الالتفافية. Cutout (2017) يُسقط رقعاً مستطيلة من صور الدخل.

أظهرت ورقة تسوية الدُّفعات (2015) أن التسوية ذاتها توفّر قدراً من الضبط الضمني، فحلّت جزئياً محل الإسقاط العشوائي في الشبكات الالتفافية. أما البنى الحديثة مثل المحوِّلات فتطبّق الإسقاط العشوائي في نقاط محددة (بعد أوزان الانتباه وبعد طبقات التغذية الأمامية) وتحذفه في أماكن أخرى.

أساليب توسيع البيانات مثل Mixup (2018) يمكن اعتبارها امتداداً لفلسفة الإسقاط العشوائي إلى مستوى البيانات نفسها: بدلاً من تصفير العصبونات عشوائياً، امزج أمثلة التدريب عشوائياً لتمنع الشبكة من حفظ أي مثال بعينه.

اليوم، يكاد لا يخلو صندوق أدوات أي ممارس من الإسقاط العشوائي أو أحد أحفاده — وهذا خير دليل على الأثر الدائم لهذه الورقة في طريقة تدريب الشبكات العصبية.