تقطير المعرفة في الشبكات العصبية

بحلول عام 2015، كانت أفضل الأنظمة أداءً على مقاييس مثل ImageNet عبارة عن نماذج تجميعية — عادةً من 5 إلى 10 شبكات عميقة تُدرَّب بشكل مستقل ثم تُحسب المتوسط بين تنبؤاتها. هذا الأسلوب القائم على القوة الحوسبية المحضة كان يتفوق باستمرار على أي نموذج منفرد.

لكن هناك فجوة حادة بين مرحلة التدريب ومرحلة النشر. في التدريب نريد استخلاص أقصى قدر من المعرفة من البيانات، ولا تهمّنا التكلفة الحوسبية ولا زمن الاستجابة. أما في النشر، فنحتاج نموذجاً يستجيب خلال أجزاء من الثانية على هاتف محمول أو يخدم ملايين الطلبات في الثانية. عشر شبكات ضخمة مجتمعة لا تستطيع تحقيق أيٍّ من ذلك.

الحل البديهي — تدريب نموذج صغير مباشرةً على البيانات — يُعطي تعميماً أضعف دائماً. النموذج الصغير لا يرى إلا التسميات الصارمة («هذا 3»)، ويفوّت البنية الغنية التي اكتشفتها المجموعة التجميعية: أن هذا الـ3 تحديداً فيه شبه بالـ8 ولا يُشبه الـ7 إطلاقاً.

حين يرى نموذج مُدرَّب على تمييز الأرقام صورةً للرقم 2، قد يُخرج شيئاً مثل: «احتمال أنه 2 = 0.93، واحتمال أنه 3 = 0.05، واحتمال أنه 7 = 0.01، والباقي قريب من الصفر.» التسمية الصارمة تقول فقط «هذا 2». لكن المخرج المرن يحمل معلومات أغنى بكثير — يقول إن النموذج يلمح شبهاً بين 2 و3 (كلاهما فيه انحناءات)، وشبهاً خافتاً بالـ7 (بسبب الخط المفتوح في الأعلى)، ولا يكاد يرى أي علاقة بالـ0 أو الـ1.

يُسمّي Hinton هذه النسب الاحتمالية الدقيقة بين الفئات غير الصحيحة المعرفة الخفية. هذه النسب تُرمّز علاقات بنيوية بين الفئات — علاقات تُضيّعها التسميات الصارمة بالكامل. فالرقم 2 الذي يكاد يُشبه الـ3 يحمل معلومات أكثر من رقم 2 لا يُشبه أي شيء آخر.

المشكلة أن مخرجات softmax لنموذج مُدرَّب جيداً تكون حادّة للغاية — الفئة الصحيحة تأخذ احتمالاً يقترب من 1.0، وكل تلك المعلومات العلائقية الغنية تنضغط في احتمالات ذيلية ضئيلة يكاد يتجاهلها الحساب. فكيف نستخرج هذه البنية المخفية؟

الآلية المحورية هي معامل الحرارة $T$ الذي يُطبَّق على دالة softmax. عند القيمة الافتراضية ($T = 1$) يكون التوزيع الناتج حاداً — أكبر لوجيت يُهيمن على المخرج. كلما رفعنا $T$ يلين التوزيع: كل الفئات تحصل على حصص احتمالية أكثر تقارباً، وتبدأ الفروق النسبية بين احتمالات الفئات الخاطئة بالظهور.

تخيّل $T$ كعدسة مكبّرة: عند $T = 1$ ترى الصورة بالعين المجردة فلا تُميّز إلا الشكل الأبرز (الفئة الصحيحة). ارفع $T$ وستبدأ التفاصيل الدقيقة بالظهور — تلك الفروق الخفية بين الفئات (المعرفة الخفية) التي كانت غير مرئية في المقياس العادي.

يُدرَّب نموذج الطالب على مزيج موزون من حدَّي فقد:

الفقد المرن (فقد التقطير): وهو تباعد KL بين المخرج المرن لـالمعلم (عند حرارة $T$) والمخرج المرن للطالب (عند الحرارة نفسها). هذا الحد ينقل المعرفة الخفية — أي لا يُخبر الطالب بالإجابة الصحيحة فحسب، بل يُخبره أيضاً بمدى شبه كل عينة بالفئات الأخرى.

الفقد الصارم (الفقد المعياري): وهو الإنتروبيا التقاطعية بين مخرج الطالب (عند $T=1$) والتسميات الحقيقية. هذا الحد يُثبّت الطالب على الإجابات الصحيحة فعلاً.

الفقد الكلي هو:

الفكرة الجوهرية تتعلّق بـكثافة المعلومات في كل عينة تدريب. التسمية الصارمة تُعطي بتّة معلومات واحدة: أي فئة هي الصحيحة. أما المتجه الاحتمالي المرن من المعلم فيُعطي بتّات عديدة: مدى قرب المُدخَل من كل فئة، كما اكتشفه نموذج سبق له أن عمّم جيداً.

هذا يعني أن الطالب يحصل على إشارة تدرج أغنى بكثير لكل عينة. أظهر Hinton أنه مع الأهداف المرنة يمكن التدريب بعدد عينات أقل بكثير أو حقب أقل مما يتطلّبه التدريب على التسميات الصارمة وحدها. على مجموعة MNIST مثلاً، تفوّق نموذج مُقطَّر استخدم 3% فقط من بيانات التدريب (منقولة من المعلم) على نموذج تدرّب على 100% من البيانات بتسميات صارمة.

هناك أيضاً أثر تنظيمي. التسميات المرنة تمنع الطالب من الإفراط في الثقة بفئة واحدة، لأن المعلم حتى لرقم 3 واضح يُعطي احتمالاً صغيراً لكنه غير صفري لأرقام متشابهة بصرياً. هذا يعمل عملياً كـانتظام ضمني — يُعاقب التنبؤات المفرطة في الثقة — وهو شبيه جداً بالأسلوب الذي صِيغ لاحقاً تحت اسم تنعيم التسميات.

تمرّ عملية تقطير المعرفة بمراحل واضحة:

الخطوة 1 — تدريب المعلم. نبني نموذجاً كبيراً (أو مجموعة نماذج) وندرّبه حتى التقارب على كامل البيانات. هذا هو الجزء المُكلف حسابياً، ويُنفَّذ مرة واحدة فقط.

الخطوة 2 — توليد الأهداف المرنة. نمرّر بيانات التدريب عبر المعلم عند حرارة $T$ (عادةً بين 3 و20)، ونحفظ المتجهات الاحتمالية المرنة الناتجة.

الخطوة 3 — تدريب الطالب. ندرّب بنية أصغر على الفقد المُركَّب: مطابقة أهداف المعلم المرنة (تباعد KL عند حرارة $T$) إلى جانب مطابقة التسميات الحقيقية (الإنتروبيا التقاطعية عند $T = 1$).

الخطوة 4 — نشر الطالب عند $T = 1$ لمرحلة الاستدلال. أصبح الطالب الآن يحمل قدرة المعلم على التعميم في عدد أقل بكثير من المعاملات.

مهام التصنيف الكبيرة (مثل JFT التي تضم 15,000 فئة) تحتوي على عناقيد من الفئات التي يسهل الخلط بينها — سلالات كلاب مختلفة، أو طرازات سيارات، أو أنواع فطر. المعلم العام يُهدر جزءاً من سعته في التفريق بين الراعي الألماني والهاسكي السيبيري، بينما نموذج فرعي متخصص يستطيع ذلك بكفاءة أعلى.

يقترح Hinton ما يسمّيه النماذج المتخصصة: شبكات صغيرة تُدرَّب كل منها على عنقود من الفئات المتشابهة (مثل «جميع سلالات الكلاب» أو «جميع أنواع الفطر»)، مع إضافة عينة عشوائية من فئات أخرى لمنع فرط التخصيص. عند الاستدلال، يُحدّد النموذج العام أولاً أي متخصص يُناسب المُدخَل، ثم يتولّى المتخصص صقل التنبؤ.

النتيجة الأبرز: مجموعة مكوّنة من معلم عام واحد مع عدة متخصصين قُطّرت في طالب واحد تفوّق على مجموعة مماثلة من نماذج عامة فقط — بحوسبة إجمالية أقل بكثير.

على مجموعة MNIST، طابق نموذج مُقطَّر واحد دقة المجموعة التجميعية الأصلية. والأكثر إثارة أن النموذج المُقطَّر تعرّف على الرقم «3» بنجاح حتى حين أُزيلت جميع صور الـ3 من مجموعة النقل — فقد كانت المعرفة الخفية عن شبه الـ3 بأرقام أخرى (من خلال أهداف المعلم المرنة على أمثلة لا تحتوي الـ3) كافيةً وحدها.

وعلى مهمة التعرّف على الكلام واسعة النطاق داخل Google (نظام التعرّف الآلي على الكلام)، قُطّرت مجموعة من 10 نماذج في نموذج واحد بالبنية نفسها. النموذج المُقطَّر اقترب من معدل خطأ الكلمات الذي حقّقته المجموعة، مع تكلفة تشغيل أقل بعشر مرات.

وأظهرت تجارب النماذج المتخصصة على JFT أن مزيجاً من المعرفة المتخصصة والعامة، بعد تقطيره، يُضاهي النماذج المرجعية المُدرَّبة بحوسبة أكبر أو يتفوّق عليها.

أعمق ما يُعلّمنا إياه التقطير هو درسٌ فلسفي: معرفة الشبكة العصبية ليست في أوزانها ولا في بنيتها — بل في الدالة التي تعلّمتها، أي التوزيع الاحتمالي على المخرجات لأي مُدخَل. الأوزان مجرد وعاء، والتوزيع الاحتمالي هو المحتوى. حين نستوعب هذه الفكرة، نُدرك أن المعرفة يمكن نقلها من وعاء لآخر — من نموذج كبير إلى صغير، ومن مجموعة نماذج إلى نموذج واحد، ومن معلم إلى طالب.