فرضية تذكرة اليانصيب: إيجاد شبكات عصبية مُبعثرة قابلة للتدريب

بحلول عام 2018، كانت الشبكات العصبية العميقة تحتوي على أوزان أكثر بكثير ممّا تحتاجه فعلاً. وقد أثبتت أبحاث هان وآخرين (2015) أنه يمكن تقليم 90% أو أكثر من أوزان الشبكة المُدرَّبة — بمجرد حذف الأوزان الأصغر حجماً — دون أن تتأثر الدقة. بمعنى آخر، 10% فقط من الأوزان كانت كافية لتمثيل كل ما تعلّمته الشبكة.

لكن المفاجأة ظهرت عند محاولة تدريب تلك البنية المُقلَّمة من الصفر بأوزان عشوائية جديدة: الأداء انهار تماماً. البنية وحدها لا تكفي — يبدو أن الشبكة تحتاج قيم الأوزان التي نتجت عن تدريب الشبكة الكاملة قبل التقليم. وبالتالي ظلّ التقليم مجرد أداة ضغط تُستخدم بعد الانتهاء من التدريب المُكلف، لا وسيلة لتوفير تكلفة التدريب نفسه.

وهنا تتبلور المفارقة: نحن نعلم أن 90% من المعاملات لا حاجة لها بعد التدريب، لكنها تبدو ضرورية أثناءه. جولة التدريب الكاملة لا غنى عنها لمعرفة أيّ 10% يستحق البقاء — ومع ذلك لا نستطيع إعادة تدريب تلك المعاملات من الصفر بتهيئة جديدة.

طرح فرانكل وكارلن سؤالاً من زاوية مختلفة: ماذا لو أن الشبكة المُقلَّمة تستطيع التدرّب من الصفر — لكن فقط إذا أعدنا لها أوزانها الابتدائية الأصلية بدلاً من توليد أوزان عشوائية جديدة؟

إجابتهما هي فرضية تذكرة اليانصيب:

الشبكة العصبية الكثيفة المُهيَّأة عشوائياً تحتوي بداخلها على شبكة فرعية مُهيَّأة بحيث — حين تُدرَّب بمعزل — تستطيع مُجاراة دقة الشبكة الأصلية خلال عدد مماثل أو أقل من دورات التدريب.

الفكرة الحدسية مستوحاة من اليانصيب تماماً. الشبكة الكبيرة كمن يشتري آلاف التذاكر: معظم الاتصالات خاسرة، لكن بعضها يصادف أن أوزانه الابتدائية تقع في موقع مناسب من مشهد دالة الخسارة — موقع يُتيح لخوارزمية الانحدار التدريجي أن تحمله نحو حلّ جيد بسرعة. الشبكة الكاملة تنجح لأنها تحتوي على عدد كافٍ من هذه «التذاكر الرابحة». وحين نأخذ الشبكة الفرعية الفائزة ونُعيد تهيئتها بنفس القيم الابتدائية المحظوظة، تفوز مرة أخرى.

كيف نجد هذه التذاكر الرابحة عملياً؟ اقترح المؤلفان إجراءً من أربع خطوات. نبدأ بشبكة كثيفة $f(x; \theta_0)$ بأوزان ابتدائية عشوائية $\theta_0$. الخطوة الأولى: ندرّب الشبكة حتى تتقارب فنحصل على الأوزان النهائية $\theta_j$. الخطوة الثانية: نحذف نسبة $p\%$ من الأوزان ذات القيم المطلقة الأصغر — وهي الاتصالات الأقل أهمية. الخطوة الثالثة: نُنشئ قناعاً ثنائياً $m$ يُسجّل أيّ الأوزان نجت. الخطوة الرابعة — وهي الجوهرية — نُعيد الأوزان الناجية إلى قيمها الابتدائية الأصلية $\theta_0$، لا إلى القيم التي وصلت إليها بعد التدريب. الناتج هو التذكرة الرابحة: $f(x; m \odot \theta_0)$.

يمكن تنفيذ هذا الإجراء مرة واحدة (تقليم بخطوة واحدة)، لكن المؤلفَيْن وجدا نتائج أفضل بكثير مع التقليم التكراري: بدلاً من حذف $p\%$ دفعة واحدة، نحذف نسبة صغيرة (مثلاً 20%) في كل جولة، ثم نُعيد التدريب، ثم نقلّم مجدداً، وهكذا. في كل جولة تُزال الأوزان الأصغر ممّا تبقّى. هذا المنهج التدريجي يكتشف تذاكر رابحة أعلى بعثرةً ممّا يجده التقليم بخطوة واحدة.

التجربة الحاسمة تقوم على مقارنة ثلاثة سيناريوهات. الأول: التذكرة الرابحة — البنية المُقلَّمة تُعاد إلى أوزانها الابتدائية الأصلية $\theta_0$. الثاني: التذكرة العشوائية — البنية نفسها لكن بأوزان عشوائية جديدة. الثالث: الشبكة الكاملة غير المُقلَّمة كمرجع.

النتائج مذهلة. التذاكر الرابحة بحجم 10–20% فقط من الشبكة الأصلية تُحقّق دقة مساوية أو أعلى من الشبكة الكاملة. والأكثر إثارة أنها تتقارب أسرع — أي تحتاج دورات تدريب أقل. أمّا التذاكر العشوائية فأداؤها أضعف بوضوح، خصوصاً كلّما زادت نسبة البعثرة. الرسالة واضحة: البنية وحدها لا تكفي — التهيئة الابتدائية الأصلية عنصر لا يمكن الاستغناء عنه.

تخيّل الأمر كأحجية صور مقطّعة. البنية المُقلَّمة تُحدّد لك أيّ القطع تحتاج، لكن التهيئة الأصلية تُحدّد الاتجاه الذي تبدأ به كل قطعة. بدون الاتجاه الصحيح، حتى القطع المناسبة لا يمكن تجميعها في الصورة المطلوبة عبر الانحدار التدريجي.

في التقليم بخطوة واحدة، ندرّب الشبكة الكاملة مرة واحدة، ثم نحذف $p\%$ من الأوزان ونُعيد التهيئة. أمّا التقليم التكراري فيُكرّر هذه الدورة بخطوات صغيرة: للوصول مثلاً إلى بعثرة 90% بمعدل 20% في كل جولة، نحتاج نحو 10 جولات من التدريب ثم التقليم ثم إعادة التهيئة.

التكلفة الحسابية أعلى بكثير طبعاً — فالتقليم التكراري يتطلّب تدريب الشبكة الكاملة عدة مرات. لكنه يكتشف باستمرار تذاكر رابحة أفضل: شبكات فرعية أكثر بعثرة وتُعطي دقة مساوية أو أعلى من الشبكة الأصلية. السبب بسيط: كل جولة تتّخذ قرارات أدق بشأن أيّ الأوزان تستحق البقاء، لأنها تستفيد من معرفة كيف تتفاعل الأوزان المتبقية مع بعضها أثناء التدريب.

الأمر يُشبه النحت على مراحل: حين تُزيل شرائح رقيقة في كل مرة تحصل على تفاصيل أدقّ بكثير من قطع كتلة كبيرة دفعة واحدة، لأن النحّات يرى الشكل وهو يتكوّن ويُعدّل ضرباته تبعاً لذلك.

أُجريت التجارب على شبكات كاملة الاتصال (LeNet على MNIST) وشبكات التفافية (Conv-2 وConv-4 وConv-6 على CIFAR-10)، إضافةً إلى بنيات أعمق مثل VGG-19 وResNet-18.

على LeNet/MNIST، حقّقت التذاكر الرابحة بحجم 21% من الشبكة الأصلية (أي بعد تقليم 79%) نفس دقة الشبكة الكاملة: 98.5%. بل حتى عند 3.6% فقط من الحجم الأصلي (تقليم 96.4%) ظلّت الدقة مرتفعة عند 98.2%. الشبكة الكاملة احتاجت نحو 24,000 دورة للتقارب، بينما تقاربت التذكرة الرابحة بحجم 21% في نحو 17,000 دورة — أي أسرع بنحو 30%.

على البنيات الالتفافية مع CIFAR-10، حقّقت تذاكر رابحة بحجم 10-20% أداءً مكافئاً للشبكة الكاملة. والشبكات الأعمق مثل Conv-6 أتاحت مساحة أكبر للتقليم، حيث وصلت تذاكر رابحة بحجم 5% فقط إلى أداء جيد.

النمط المتكرر واضح: التذاكر الرابحة لا تُحقّق دقة الشبكة الكاملة فحسب، بل تتقارب غالباً في دورات أقل — ما يُشير إلى أنها تبدأ من موقع أفضل في مشهد دالة الخسارة منذ اللحظة الأولى.

التفسير الحدسي الذي يُقدّمه المؤلفان بسيط: التذاكر الرابحة تبدأ في منطقة مواتية من مشهد دالة الخسارة. أوزانها الابتدائية تُشير — بالصدفة — إلى اتجاه يستطيع فيه الانحدار التدريجي إحراز تقدّم سريع. أمّا إعادة التهيئة بأوزان عشوائية جديدة فتضع الشبكة في موقع اعتباطي بعيد عن تلك المنطقة، والشبكة المُبعثرة لا تمتلك ما يكفي من الاتصالات الاحتياطية لتتلمّس طريقها من نقطة بدء سيئة.

تخيّل الأمر كسلسلة جبلية يتوزّع عليها 1,000 متسلّق. من شبه المؤكد أن بعضهم سيكون قرب مسار جيد يقود إلى القمة. التذكرة الرابحة هم أولئك المتسلّقون في مواقعهم المحظوظة بالتحديد. لو نقلتهم إلى مواقع عشوائية جديدة، فالأرجح أنهم سيجدون أنفسهم عالقين في الجانب الخطأ من حافة جبلية بلا ممر للعبور.

وجود أوزان كثيرة في الشبكة الكثيفة يعمل كتأمين أثناء التدريب: صحيح أن معظم المعاملات تُسهم بقدر ضئيل في النتيجة النهائية، لكن وجودها أثناء التدريب يُسهّل تدفق التدرُّجات ويُوفّر مسارات بديلة عبر مشهد دالة الخسارة.

فرضية تذكرة اليانصيب تقلب نظرتنا للإفراط في المَعلمات رأساً على عقب: هو ميزة وليس عيباً. الشبكات الكبيرة لا تنجح رغم كثرة معاملاتها — بل تنجح بسبب هذه الكثرة. معاملات أكثر تعني تذاكر يانصيب أكثر، وتذاكر أكثر تعني فرصة أعلى لوجود تذكرة رابحة.

وهذا يُفسّر صعوبة تدريب الشبكات الصغيرة من الصفر: عدد تذاكرها أقل، فتكون فرصة الحصول على تهيئة ابتدائية مواتية أضعف. المشكلة ليست أن الشبكة الصغيرة عاجزة عن التعلّم — بل أنها نادراً ما تبدأ من موقع يُتيح لـالانحدار التدريجي إيجاد حلّ جيد.

الأثر العملي جوهري: بدلاً من النهج التقليدي «درِّب الشبكة الكبيرة ثم اضغطها»، تطرح الورقة رؤية جديدة — اكتشاف التذاكر الرابحة مبكراً وتدريب الشبكة الفرعية المُبعثرة وحدها. الورقة تُثبت أن هذا ممكن مبدئياً، لكن اكتشاف التذاكر لا يزال يتطلّب تدريب الشبكة الكاملة أولاً — وهو القيد الذي فتح الباب لموجة كبيرة من الأبحاث اللاحقة.

للورقة الأصلية قيود جوهرية ينبغي الانتباه إليها. أولاً، التجارب اقتصرت على مجموعات بيانات صغيرة — MNIST وCIFAR-10 — وبنيات ضحلة نسبياً. أعمال لاحقة لفرانكل وآخرين (2019) كشفت أن الفرضية لا تصمد بصورتها الأصلية على الشبكات الأعمق مع ImageNet: فالتذاكر الرابحة تحتاج إلى «إرجاع» الأوزان إلى قيم من مرحلة مبكرة من التدريب — وليس إلى التهيئة الابتدائية ذاتها — وهذا أضعف الادّعاء الأصلي.

ثانياً، تكلفة اكتشاف التذاكر الرابحة تُمثّل عائقاً عملياً حقيقياً. التقليم التكراري يتطلّب تدريب الشبكة الكاملة عدة مرات، ممّا يجعله أغلى بكثير من جولة تدريب واحدة. الفرضية تُخبرنا أن التذاكر الرابحة موجودة، لكنها لا تُعطينا وسيلة رخيصة لإيجادها.

ثالثاً، الورقة تستخدم تقليماً غير مُهيكَل — أي تحذف أوزاناً متناثرة في أنحاء الشبكة. ورغم أن هذا يُحقّق نِسَب بعثرة عالية، إلا أن العتاد الحديث يُفضّل أنماط وصول منتظمة ومُهيكلة في الذاكرة، ممّا يصعّب ترجمة هذه البعثرة إلى تسريع فعلي في التنفيذ.