SwAV: تعلُّم السمات البصرية دون إشراف عبر مقارنة تعيينات العنقدة

الفكرة الأساسية في التعلّم التبايُني بسيطة: خذ صورة، أنشئ منها منظورين مُعزَّزين مختلفين (بتدوير أو قصّ أو تغيير ألوان مثلاً)، ثم مرّرهما عبر المرمِّز واحسب سماتهما. الهدف أن يتعلّم النموذج تقريب سمات المنظورين لنفس الصورة (الزوج الإيجابي) وإبعاد سمات الصور المختلفة عن بعضها (العيّنات السلبية). هكذا يعمل SimCLR مثلاً.

المشكلة أن هذا النهج يحتاج كمّاً كبيراً من العيّنات السلبية ليعمل بكفاءة. SimCLR يستخدم أحجام دُفعات تتراوح بين 4096 و8192 — أي أن كل زوج إيجابي يُقارَن بآلاف العيّنات السلبية. MoCo يبني طابوراً يحتفظ بـ65,536 عيّنة سلبية عبر مرمِّز زخم. كلا الأسلوبين يعملان جيداً، لكنهما يفرضان عبئاً حسابياً أو بنيوياً ملحوظاً.

السؤال الذي يطرحه SwAV: هل يمكننا الحصول على مزايا التعلّم التبايُني — أي التعلّم بلا تسميات عبر مقارنة المنظورات — دون أن ندفع ثمن المقارنة الزوجية الشاملة؟

اسم SwAV اختصار لـSwapping Assignments between Views، أي «تبادل التعيينات بين المنظورات». الفكرة تعمل على خطوتين أنيقتين بدلاً من المقارنة المباشرة. في الخطوة الأولى، تُربط كل سمة بمجموعة من $K$ متجه نماذج أوّلية قابلة للتعلّم، فينتج عن ذلك تعيين ناعم يُسمّى «الشفرة» — وهو توزيع احتمالي يُحدّد أيّ نموذج أوّلي أقرب لهذه السمة. في الخطوة الثانية، يُفرض الاتّساق بأن يتنبّأ النظام بشفرة أحد المنظورين انطلاقاً من تمثيل المنظور الآخر.

عملياً، المسار كالتالي: نأخذ صورة $x_n$ وننشئ منها منظورين مُعزَّزين $x_{n,t}$ و$x_{n,s}$ بتطبيق تحويلات تعزيز بيانات مختلفة. نمرّر كلاً منهما عبر المرمِّز المشترك $f_\theta$ فنحصل على السمتين $z_t$ و$z_s$. بعد ذلك، تُقارَن كل سمة بجميع النماذج الأوّلية الـ$K$ وهي $\{c_1, \ldots, c_K\}$ لتوليد الشفرة.

الحيلة الجوهرية هنا أن شفرة المنظور $t$ لا تُحسب من سمته مباشرة — بل يُتنبَّأ بها من سمة المنظور $s$، والعكس صحيح. المنطق بسيط: إذا كان المنظوران يصوّران نفس المحتوى فعلاً، فمعرفة تمثيل أحدهما ينبغي أن تكفي للتنبؤ بالعنقود الذي ينتمي إليه الآخر. هذا التنبؤ المُتبادَل هو ما يمنح SwAV اسمه المميز.

قبل أن ندخل في الصيغة الرياضية، لنفهم أولاً ما الذي يحاول SwAV تحسينه. لكل صورة لدينا منظوران، وكل منظور يُنتج متجه سمات وتعييناً ناعماً (شفرة). السؤال الذي تطرحه دالة الخسارة هو: «هل أستطيع التنبؤ بالشفرة التي حصل عليها المنظور $t$ باستخدام متجه سمات المنظور $s$ فقط؟» إذا كان المرمِّز والنماذج الأوّلية يعملان كما ينبغي، فالجواب نعم — لأن كلا المنظورين يُصوّران نفس الصورة.

آلية التنبؤ تسير كالتالي: نحسب التشابه بين السمة $z_s$ وكل نموذج أوّلي $c_k$ عبر حاصل الضرب النقطي، ثم نطبّق دالة سوفتماكس مُعدَّلة بمعامل درجة الحرارة للحصول على احتمال $p_s^{(k)}$. أخيراً، نقيس مدى تطابق هذا الاحتمال مع شفرة المنظور الآخر $q_t$ باستخدام الإنتروبيا التقاطعية.

متجهات النماذج الأوّلية $\{c_1, \ldots, c_K\}$ تعيش في نفس فضاء التضمين الذي تعيش فيه السمات. يمكنك تصوّرها كـ$K$ مِرساة موضوعية — نقاط مرجعية ثابتة تُقاس المسافة بينها وبين كل سمة جديدة. الفرق الجوهري بينها وبين مراكز العنقدة في k-means هو أن مراكز k-means تُعاد حسابها من الصفر بعد كل خطوة، بينما نماذج SwAV الأوّلية تُتعلّم بشكل شامل عبر الانتشار العكسي جنباً إلى جنب مع المرمِّز.

عملياً، يُستخدم $K = 3000$ نموذج أوّلي. هذه النماذج تُشكّل أعمدة مصفوفة $C \in \mathbb{R}^{D \times K}$ حيث $D$ بُعد السمات. لحساب شفرة أي سمة $z$، كل ما نحتاجه هو ضرب مصفوفات $C^\top z$ ثم تطبيع النتيجة بخوارزمية سينكهورن-كنوب.

ولأن النماذج الأوّلية مشتركة بين جميع الصور وجميع الدُّفعات، فهي تُمثّل بنية عنقدة دائمة ومستقرة. مع كل دُفعة جديدة تتعدّل هذه النماذج قليلاً عبر الانحدار التدريجي، فتتطوّر العنقدة بسلاسة طوال مرحلة التدريب.

الخطر الأكبر في أي أسلوب قائم على العنقدة هو ما يُعرف بـالانهيار: أن يضع النموذج كل الصور في عنقود واحد ويحقّق خسارة صفرية لأنه تجاهل كل الفروقات ببساطة. هذا هو الحلّ التافه — وهو كارثي لأن النموذج لم يتعلّم شيئاً.

SwAV يتعامل مع هذا الخطر بأن يصوغ حساب الشفرات كمسألة نقل أمثل. بدلاً من أن نأخذ ببساطة أكبر قيمة أو سوفتماكس لحاصل $C^\top z$، يشترط SwAV أن يكون توزيع التعيينات على مستوى الدُّفعة بأكملها متوازناً — بحيث يحصل كل نموذج أوّلي على حصة متقاربة من السمات. تخيّل الأمر كأنك توزّع طلّاباً على قاعات بحيث لا تبقى قاعة فارغة ولا تمتلئ قاعة واحدة بالجميع.

القيد الرياضي هو أن مصفوفة التعيين $Q$ يجب أن تكون صفوفها مجموعها $1/K$ (كتلة متساوية لكل نموذج أوّلي) وأعمدتها مجموعها $1/B$ (كل صورة تحصل على توزيع احتمالي صالح). خوارزمية سينكهورن-كنوب تجد هذه المصفوفة مزدوجة العشوائية بالتناوب بين تطبيع الصفوف وتطبيع الأعمدة:

الأساليب التبايُنية المعتادة تُنشئ منظورين مُعزَّزين لكل صورة بالدقة الكاملة (224×224 مثلاً). في الأساليب الزوجية، كل منظور إضافي يزيد عدد المقارنات بشكل تربيعي، فالتكلفة ترتفع بسرعة. لكن SwAV لا يقارن المنظورات ببعضها — بل يقارن كل سمة بـالنماذج الأوّلية. لذلك فإن إضافة منظورات جديدة لا تزيد التكلفة إلا بشكل خطّي.

يستثمر المؤلفون هذه الميزة باقتراح القصّ المتعدّد: بدلاً من منظورين بالدقة الكاملة، نستخدم منظورين كبيرين (160×160) مع $V$ منظورات صغيرة (96×96). المنظورات الصغيرة تُغطّي أجزاء مختلفة من الصورة وتلتقط تفاصيل محلية كالأنسجة والحواف والأجسام الصغيرة، بينما المنظورات الكبيرة تلتقط البنية الشاملة. الفكرة تشبه أن تنظر إلى لوحة من بعيد لتفهم تكوينها العام، ثم تقترب لتتفحّص تفاصيل زواياها.

الملاحظة المهمة هنا أن الشفرات تُحسب من المنظورين الكبيرين فقط (لأنهما عاليا الجودة)، لكن جميع المنظورات تُستخدم في حساب حدّ التنبؤ من دالة الخسارة. بهذه الطريقة تُقدّم المنظورات الصغيرة إشارة تدريبية إضافية غنية بتفاصيل محلية دون أن تتطلّب حساب شفرات مُكلف. عملياً، إضافة $V=4$ منظورات صغيرة لا ترفع الحوسبة سوى نحو 20% لكنها تُحسّن الدقة بمقدار 2% تقريباً على ImageNet.

حقّق SwAV مع ResNet-50 دقة 75.3% على تقييم ImageNet الخطي (المسبار الخطي) — بقفزة 4.2 نقاط مئوية فوق SimCLR (الذي حقّق 71.1%) ونفس الفارق فوق MoCo-v2. كان هذا أول أسلوب تعلّم ذاتي الإشراف يُضيّق الفجوة مع التدريب الخاضع للإشراف (76.5%) إلى 1.2 نقطة مئوية فقط.

الأمر الأكثر لفتاً للنظر يظهر في مهام النقل: تمثيلات SwAV تفوّقت على التدريب الخاضع للإشراف في جميع المعايير التي جرى اختبارها — كشف الأجسام على VOC وCOCO، وتجزئة النُّسَخ على COCO، وتصنيف الصور على Places205 وiNaturalist. هذا يدلّ على أن السمات المُتعلَّمة ذاتياً تُعمَّم بشكل أفضل من السمات الخاضعة للإشراف التي قد تُفرط في التخصّص على توزيع تسميات ImageNet (الإفراط في الملاءمة).

استراتيجية القصّ المتعدّد تُسهم بنصيب كبير في هذا الأداء: بدونها يحقّق SwAV 72.7% فقط. إضافة أربعة منظورات صغيرة ($V=4$) ترفع الدقة إلى 75.3%، أي مكسب 2.6% بتكلفة إضافية ضئيلة. أما عدد النماذج الأوّلية (سواء 3 آلاف أو 100 ألف) فلا يؤثر كثيراً — الأداء يتفاوت بنحو ±0.3% فقط، وهذا يُظهر متانة SwAV أمام هذا المعامل الفائق.

MoCo يحتفظ بنسخة كاملة من المرمِّز تُحدَّث ببطء عبر الزخم، وهذا يُضاعف استهلاك الذاكرة. SimCLR يحتاج دُفعات بالآلاف. أما SwAV فلا يحتاج لا هذا ولا ذاك. النماذج الأوّلية تعمل كملخص مُكثّف ودائم لتوزيع البيانات — تحلّ في الوقت نفسه محل بنك الذاكرة ومحل الحاجة لدُفعات ضخمة.

من الناحية العملية، النماذج الأوّلية مجرد مصفوفة $D \times K$ (مثلاً $256 \times 3000$)، فهي لا تُضيف ذاكرة تُذكر. خطوة سينكهورن-كنوب تعمل على مصفوفة $K \times B$ وهي صغيرة أيضاً. التكلفة الحقيقية تبقى في المرور الأمامي عبر المرمِّز — وهذه نفسها في أي أسلوب آخر.

هذه البساطة في التصميم تجعل SwAV سهل التوسّع أيضاً. يعمل بأحجام دُفعات من 256 إلى 4096. يمكنه الاستعانة بـطابور صغير من السمات الأخيرة (دُفعتين أو ثلاث) لتحسين استقرار خطوة سينكهورن عند استخدام دُفعات صغيرة، لكن هذا الطابور يخزّن السمات فقط دون التدرّجات، فهو أخفّ بكثير من مرمِّز الزخم في MoCo.

يقع SwAV عند ملتقى اتجاهين بحثيين: العنقدة غير الفورية (مثل DeepCluster وSeLa) والتعلّم التبايُني الفوري (مثل SimCLR وMoCo). بجعل العنقدة فورية من خلال نماذج أوّلية قابلة للتعلّم وخوارزمية سينكهورن-كنوب، وباستبدال المقارنة الزوجية بـالتنبؤ المُتبادَل، جمع SwAV أفضل ما في الاتجاهين. أصبحت استراتيجية القصّ المتعدّد أداة أساسية في الميدان، وكانت بنية النماذج الأوّلية البذرة المباشرة لنموذج DINO — أحد أكثر أساليب التعلّم الذاتي الإشراف تأثيراً في مجال الرؤية الحاسوبية.