متى يُفيد تنعيم التسميات؟

في مسائل التصنيف المعتادة، نُدرّب الشبكة على أهداف صلبة: لو كان لدينا صورة قطة مثلاً، يكون متجه الهدف $[1, 0, 0, \ldots, 0]$ — واحد كامل عند الفئة الصحيحة وصفر في كل مكان آخر. هذا ما يُعرف بـالترميز الأحادي الساخن. أثناء التدريب، تسعى الشبكة لتقليل الانتروبيا المتقاطعة بين هذه الأهداف ومخرجات دالة سوفتماكس.

المشكلة أن هذه الأهداف الصلبة تدفع الشبكة نحو ثقة مفرطة. لكي يقترب احتمال الفئة الصحيحة من 1، تحتاج الشبكة إلى تضخيم قيمة اللوجِت المقابلة نحو اللانهاية. النتيجة هي فرط التخصيص: الشبكة تحفظ أمثلة التدريب بدلاً من تعلّم أنماط قابلة لـالتعميم، وتصبح ثقتها مُضلِّلة — تقول «99.9% قطة» حتى حين تكون القرائن غامضة.

تنعيم التسميات، الذي قدّمه سزيغيدي وزملاؤه ضمن بنية Inception-v2، يُعالج هذه المشكلة بفكرة بسيطة. بدلاً من الهدف الصلب $y_k$، نستخدم هدفاً مُنعَّماً $y_k^{LS}$ يمزج الهدف الأصلي مع توزيع منتظم. بمعامل تنعيم $\alpha$، تحصل الفئة الصحيحة على $1 - \alpha + \alpha/K$ وكل فئة خاطئة تحصل على $\alpha/K$، حيث $K$ هو عدد الفئات الكلي.

أبرز ما اكتشفته الورقة هو اكتشاف هندسي بالدرجة الأولى. حين تُدرَّب الشبكة بأهداف صلبة، تُشكِّل تمثيلات الطبقة قبل الأخيرة سُحُباً عريضة متداخلة لكل فئة. أمثلة من الفئة ذاتها قد تقع على مسافات متباينة جداً من قوالب الفئات الأخرى، وهذا يحفظ معلومات غنية عن التشابه بين الفئات.

مع تنعيم التسميات، تتغيّر الصورة تماماً. الأهداف المُنعَّمة تضغط على كل مثال ليصبح متساوي البُعد عن جميع قوالب الفئات الخاطئة. المحصّلة أن التمثيلات تتقلّص إلى عناقيد مُحكَمة مرتّبة بنمط هندسي منتظم — تخيّلها كرؤوس مثلث متساوي الأضلاع (في حالة ثلاث فئات مُسقَطة على بُعدين).

الفرق يُشبه الفرق بين موقف سيارات حيث تقف كل سيارة حيثما اتّفق داخل قسمها، وموقف آخر فيه أماكن مُحددة مسبقاً — كل سيارة في موضعها بالضبط، على مسافة واحدة من الأقسام المجاورة. الموقف الثاني أكثر انتظاماً، لكنك تفقد معرفة أيّ السيارات كانت «على وشك» أن تكون في القسم الخطأ.

لتصوير هذا التأثير بصرياً، ابتكر المؤلفون تقنية بسيطة وفعّالة: يختارون ثلاث فئات، ثم يجدون المستوي ثنائي الأبعاد المارّ بقوالب هذه الفئات الثلاث (أي متجهات الأوزان $w_k$ في الطبقة الأخيرة)، ويُسقطون تنشيطات الطبقة قبل الأخيرة على ذلك المستوي. بهذا تظهر هندسة التعنقد مباشرة أمامك.

قيمة اللوجِت للفئة $k$ هي $x^T w_k$، ويمكن ربطها بمربع المسافة الإقليدية بين متجه التنشيط $x$ وقالب الفئة $w_k$:

نقول إن النموذج جيد المعايرة حين تكون تنبؤاته بثقة 80% صحيحة فعلاً في نحو 80% من الحالات. الشبكات العصبية الحديثة معروفة بمبالغتها في الثقة: كثيراً ما تتنبأ بثقة 99% لأمثلة تُخطئ فيها.

أظهر غو وزملاؤه (2017) أن ضبط درجة الحرارة بعد التدريب — أي قسمة قيم اللوجِت على درجة حرارة مُتعلَّمة $T$ قبل دالة سوفتماكس — يُصلح المعايرة. لكن هذا يستلزم مجموعة تحقق مستقلة وخطوة معايرة منفصلة.

ما اكتشفه مولر وزملاؤه أن تنعيم التسميات يمنح فائدة معايرة مماثلة مجاناً، كنتيجة جانبية للتدريب. خطأ المعايرة المتوقع (ECE) ينخفض بشكل كبير دون أي معالجة لاحقة. على CIFAR-100 مع ResNet-56 مثلاً، التنعيم بقيمة $\alpha = 0.05$ يُنزل ECE من 0.150 إلى 0.024 — وهذا يقترب ممّا يحققه ضبط درجة الحرارة عند $T = 1.9$ الذي يصل إلى 0.021.

لفائدة المعايرة أثر عملي واضح في الترجمة الآلية. كان فاسواني وزملاؤه قد لاحظوا أن تنعيم التسميات بقيمة $\alpha = 0.1$ حسّن نتائج BLEU في نموذج المُحوِّل رغم تراجع مقياس الحيرة. يبدو هذا متناقضاً للوهلة الأولى — كيف يُنتج نموذجٌ تنبؤاته أسوأ ترجماتٍ أفضل؟

التفسير يعود إلى المعايرة. خوارزمية البحث الشعاعي المستخدمة في فك ترميز الترجمة تعتمد على ثقة النموذج لترتيب التسلسلات المرشحة. النموذج مفرط الثقة يضع احتمالاً ضخماً على تخمينه الأول، فيحرم البحث الشعاعي من فرصة استكشاف بدائل أفضل. أما النموذج جيد المعايرة فيوزّع الاحتمالات بصورة أقرب للواقع، وبذلك يحصل البحث الشعاعي على إشارة أصدق تساعده في اختيار ترجمة أفضل.

في تقطير المعرفة، نُدرّب شبكة طالب أصغر حجماً على محاكاة المخرجات الناعمة لشبكة معلم أكبر. الفكرة المحورية أن التنبؤات الناعمة للمعلم تحمل ما يُسمّى «المعرفة المظلمة» — أي معلومات عن الفئات الخاطئة الأكثر شبهاً ببعضها. حين يُعطي المعلم احتمال 10% لفئة «كلب» و0.1% لفئة «شاحنة» عند تصنيف صورة قطة، فهو يُخبر الطالب ضمنياً أن القطط تُشبه الكلاب أكثر بكثير مما تُشبه الشاحنات.

تنعيم التسميات يطمس هذه المعلومات تحديداً. بما أنه يُجبر الطبقة قبل الأخيرة على وضع كل مثال على مسافة متساوية من جميع قوالب الفئات الخاطئة، تتحوّل تنبؤات المعلم الناعمة إلى رسالة واحدة لكل الفئات الخاطئة: «كلها خطأ بالقدر ذاته». وبذلك تُمحى المعرفة المظلمة عن التشابه بين الفئات.

التجربة تكشف عن مفارقة لافتة: معلم ResNet-56 مُدرَّب بتنعيم التسميات على CIFAR-10 يحقق دقة أفضل من معلم مُدرَّب بأهداف صلبة. لكن حين يُقطّر هذا المعلم الأفضل معرفته في طالب AlexNet، يكون أداء الطالب أسوأ ممّا لو تعلّم من المعلم ذي الأهداف الصلبة. معلم أفضل يُخرّج طالباً أسوأ — والسبب أن قيم اللوجِت عند المعلم فقدت المعلومات النسبية التي يقوم عليها التقطير.

لتجاوز الحدس البصري والوصول إلى قياس كمّي، قدّر المؤلفون المعلومات المتبادلة بين أمثلة التدريب وفروق قيم اللوجِت الخاصة بها. المعلومات المتبادلة تقيس كمّ ما تُضيفه معرفة المُدخَل المحدّد من معلومات عن المُخرَج، فوق ما تعرفه أصلاً من مجرد تسمية الفئة.

في شبكة مُدرَّبة بأهداف صلبة، تبقى المعلومات المتبادلة مرتفعة طوال التدريب. كل مثال من الفئة ذاتها يُنتج نمط لوجِت مختلفاً — قطة مستلقية على العشب لها أوجه تشابه مع فئات تختلف عن تلك لقطة جالسة على كرسي. هذه المعلومات الخاصة بكل مثال هي بالضبط ما يمنح التقطير قوّته.

في شبكة مُدرَّبة بـتنعيم التسميات، ترتفع المعلومات المتبادلة في البداية (أثناء تعلّم التصنيف) ثم تنخفض بحدّة. في نهاية المطاف تقترب من $\log(2)$ — أي المحتوى المعلوماتي لتسمية ثنائية واحدة. هذا يعني أن قيم اللوجِت لم تعد تحمل فعلياً أي معلومة تتجاوز: «الفئة الصحيحة مقابل كل شيء آخر». كل قطة تبدو متماثلة في فضاء اللوجِت، بصرف النظر عن سياقها.

تحقّق المؤلفون من نتائجهم عبر ثلاثة مجالات وثلاث بنيات وثلاث مجموعات بيانات. في تصنيف الصور، أظهرت AlexNet على CIFAR-10 وResNet-56 على CIFAR-100 ظاهرة التعنقد المُحكَم عند استخدام تنعيم التسميات. في الترجمة الآلية، حقّق المُحوِّل على زوج الإنجليزية-الألمانية نتائج BLEU أفضل ومعايرة أفضل مع التنعيم. وعلى ImageNet مع Inception-v4، أنزل التنعيم ECE من 0.071 إلى 0.035.

حالة مثيرة بشكل خاص تظهر مع الفئات المتشابهة دلالياً على ImageNet. حين صوّر المؤلفون سلالتَي بودل (بودل لعبة وبودل مصغّر) إلى جانب فئة مختلفة تماماً (سمكة التنش)، أنتجت الأهداف الصلبة عناقيد متداخلة للسلالتين المتشابهتين مع تدرّج سلس في التشابه نحو الفئة البعيدة. أما التنعيم فأجبر حتى هاتين الفئتين المتقاربتين على الاصطفاف في شكل قوس، ماحياً ذلك التدرّج. لم يعد بإمكانك قياس «مدى شبه هذا البودل بسمكة التنش» — وهي معلومة تحتفظ بها شبكات الأهداف الصلبة بشكل طبيعي.