السَّمْت

التعلم الذاتي الإشراف2021متوسط12 دقيقة قراءة

Barlow Twins: التعلّم ذاتي الإشراف عبر تقليل التكرار

Barlow Twins: Self-Supervised Learning via Redundancy Reduction

Zbontar, J. · Jing, L. · Misra, I. · LeCun, Y. · Deny, S. — ICML

المشكلة

الفكرة الأساسية في التعلّم ذاتي الإشراف بسيطة: أنشئ نسختين مشوّهتين من الصورة نفسها، ودرّب الشبكة على إنتاج تمثيلات متقاربة لكلتيهما. لكن هناك فخ خطير: لا شيء يمنع الشبكة من الغش بأن تُخرج المتّجه نفسه لكل صورة تراها — وهذا ما يُسمّى انهيار التمثيل. حتى عام 2020، كانت كل الحلول المتاحة عبارة عن حيل هندسية: دفعات ضخمة من الأزواج السلبية في SimCLR، أو مرمِّز عزم في MoCo وBYOL، أو إيقاف تدرّجات في SimSiam، أو تجميع فوري في SwAV. كل حيلة تؤدي الغرض عملياً، لكن لا واحدة منها تعالج جذر المشكلة، وكلها تُضيف تعقيداً يصعب تبريره نظرياً.

الإسهام

يقدّم Barlow Twins دالة خسارة تمنع الانهيار بطبيعتها دون الحاجة لأزواج سلبية أو مرمِّزات عزم أو إيقاف تدرّجات. الآلية واضحة: تُحسب مصفوفة بين تضمينات نسختين مُعزَّزتين من الدفعة نفسها، ثم تُعاقَب أي انحرافات عن مصفوفة الوحدة. العناصر القُطرية تفرض التمثيل (الصورة نفسها تعطي السمات نفسها)، والعناصر خارج القطر تفرض (كل سمة تحمل معلومة مستقلة). الفكرة في جوهرها تطبيق مباشر لمبدأ الذي اقترحه عالم الأعصاب هوراس بارلو. على صعيد الأداء، يحقق الأسلوب دقة 73.2% (top-1) على ImageNet بالتقييم الخطي مع ResNet-50، ودقة 55.0% حين لا تتوفّر سوى 1% من التسميات — وهي الأعلى بين كل الأساليب المنافسة.

الأثر

أثبت Barlow Twins أن هدفاً مبنياً على أسس يمكن أن يُغني عن الحيل المخصّصة لمنع الانهيار. ألهم مباشرةً أسلوب VICReg الذي فصل الفكرة إلى ثلاثة حدود واضحة: التباين والثبات والتغاير. ثم امتدّ مبدأ تقليل التكرار إلى مجالات أخرى كالتعلّم متعدد الوسائط وتعلّم التعزيز وتعلّم تمثيلات الرسوم البيانية. ومن النتائج المفاجئة التي كشفتها الورقة أن أساليب التعلّم ذاتي الإشراف تستفيد من رؤوس إسقاط عالية الأبعاد جداً، وهي ملاحظة غيّرت طريقة تصميم هذه الرؤوس في الممارسة العملية.

تخيّل فريقاً من المراقبين أُرسلوا لوصف المنظر الطبيعي نفسه. كل مراقب يدوّن قائمة: «يوجد نهر»، «الجبل ظاهر»، «الغابة كثيفة». قد تظهر مشكلتان. الأولى: إذا نسخ الجميع الإجابات نفسها حرفياً، فلا فائدة من وجود فريق أصلاً — هذا هو . الثانية: إذا كانت كل نقطة في القائمة تُكرّر المعلومة ذاتها بصياغة مختلفة، فالتقرير مليء بـ ولا يُضيف جديداً.

Barlow Twins يعالج المشكلتين معاً: يطلب من كل زوج من المراقبين أن يتّفقا على نفس البنود (القطر = 1)، لكن أن يتحدّث كل بند عن شيء مختلف (خارج القطر = 0). النتيجة: فريقٌ يؤكّد كل فرد فيه أن المشهد حقيقي، وكل بند في القائمة يحمل معلومة فريدة لا تتكرّر في بند آخر.

الخطر الكامن: انهيار التمثيل

مبدأ في مبدأ بديهي: خذ صورة واحدة، واصنع منها نسختين مشوّهتين عبر — قصّ عشوائي، تغيير ألوان، تمويه، وغير ذلك — ثم درّب الشبكة لتُنتج متقاربة للنسختين. المنطق واضح: إذا نجحت الشبكة في التعرّف على أن صورة مقصوصة ومموّهة ونسخة بألوان مختلفة هما الكلب نفسه، فلا بدّ أنها التقطت سمات ذات معنى حقيقي.

لكن الشبكة قد تسلك طريقاً مختصراً: تُخرج النقطة نفسها بالضبط في فضاء التضمين لكل صورة تراها. هذا الحل الثابت يحقق شرط «التضمينات يجب أن تتشابه» بشكل مثالي — لأن كل التضمينات متطابقة أصلاً. يُسمّى هذا انهيار التمثيل، والنموذج الناتج عديم الفائدة تماماً.

بحلول 2020، ابتكر الباحثون عدة حيل لمواجهة هذه المشكلة. SimCLR يعتمد على دفعات كبيرة من ليُبعد تضمينات الصور المختلفة عن بعضها. BYOL يُضيف يتحدّث ببطء. SimSiam يستخدم لمنع أحد الفرعين من الانهيار. كل أسلوب منها ينجح عملياً، لكنّ كلاً منها يُضيف تعقيداً لا مبرّر نظرياً واضحاً له، ولا واحد يُفسّر لماذا ينجح من المبادئ الأساسية.

افتح في المختبر
بدّل بين الأساليب لترى كيف يتجنّب كل منها الانهيار. Barlow Twins هو الوحيد الذي يحقق ذلك عبر دالة الخسارة وحدها، دون أي حيل بنيوية إضافية.
تستيقظ التجربة عند وصولك…

الفكرة: حوّل مصفوفة الارتباط المتبادل إلى مصفوفة وحدة

يبدأ Barlow Twins كغيره من أساليب التعلّم ذاتي الإشراف: خذ صورة، أنشئ منها عشوائياً YAY^A وYBY^B، ومرّر كلاً منهما عبر شبكة fθf_\theta ثم للحصول على التضمينات ZAZ^A وZBZ^B.

الابتكار الحقيقي يظهر في الخطوة التالية. بدلاً من مقارنة أزواج التضمينات واحداً تلو الآخر، يحسب Barlow Twins مصفوفة الارتباط المتبادل C\mathcal{C} بين مجموعتَي التضمينات على مستوى الدفعة بأكملها. هذه مصفوفة بأبعاد D×DD \times D (حيث DD هو بُعد التضمين)، وكل عنصر Cij\mathcal{C}_{ij} فيها يقيس مدى الارتباط بين البُعد ii من ZAZ^A والبُعد jj من ZBZ^B عبر جميع عيّنات الدفعة.

الهدف بسيط وأنيق: ادفع C\mathcal{C} لتصبح مصفوفة وحدة. بمعنى أن كل عنصر قُطري Cii\mathcal{C}_{ii} يجب أن يقترب من 1 — أي أن السمة نفسها في النسختين مترابطة تماماً — وكل عنصر خارج القطر Cij\mathcal{C}_{ij} حيث i≠ji \neq j يجب أن يقترب من 0 — أي أن السمات المختلفة مستقلة عن بعضها.

افتح في المختبر
تتبّع مسار البيانات: صورة واحدة تتحوّل إلى نسختين مُعزَّزتين، تمرّان معاً عبر المرمِّز ورأس الإسقاط، ثم تُحسب مصفوفة الارتباط المتبادل وتُدفع نحو مصفوفة الوحدة.
تستيقظ التجربة عند وصولك…

دالة الخسارة: حين يلتقي الثبات بتقليل التكرار

تتكوّن من حدَّين يُكمّل كل منهما الآخر. الحدّ الأول هو حدّ الثبات: يُعاقب العناصر القُطرية في مصفوفة الارتباط المتبادل حين تبتعد عن 1. حين يكون Cii=1\mathcal{C}_{ii} = 1، فهذا يعني أن السمة رقم ii في النسخة الأولى مرتبطة تماماً بالسمة رقم ii في النسخة الثانية — أي أن التمثيل ثابت أمام التعزيز. فكّر في الأمر وكأنك تسأل: «هل تتّفق النسختان على ما تقوله كل سمة عن الصورة؟»

الحدّ الثاني هو حدّ تقليل التكرار: يُعاقب العناصر خارج القطر حين تبتعد عن الصفر. حين يكون Cij=0\mathcal{C}_{ij} = 0 لـ i≠ji \neq j، يكون كل بُعد من أبعاد التضمين يحمل معلومة مستقلة عن الأبعاد الأخرى. فكّر فيه وكأنك تسأل: «هل تُخبرني كل سمة بشيء جديد، أم تُعيد ما قالته سمة أخرى؟»

معامل فوقي λ\lambda يضبط التوازن بين الحدَّين. وجد المؤلفون أن λ=5×10−3\lambda = 5 \times 10^{-3} يُعطي أفضل النتائج — دفعة ناعمة نحو فكّ الارتباط بدلاً من قيد صارم.

LBT≜∑i(1−Cii)2⏟invariance term+λ∑i∑j≠iCij2⏟redundancy reduction term\mathcal{L}_{\text{BT}} \triangleq \underbrace{\sum_{i} (1 - \mathcal{C}_{ii})^{2}}_{\text{invariance term}} + \lambda \underbrace{\sum_{i} \sum_{j \neq i} \mathcal{C}_{ij}^{2}}_{\text{redundancy reduction term}}
خسارة Barlow Twins — الثبات مع تقليل التكرار — المجموع الأول يدفع العناصر القُطرية نحو 1 لتحقيق الثبات أمام التعزيزات. المجموع الثاني يدفع العناصر خارج القطر نحو 0 لفكّ الارتباط بين السمات. معاً يُجبران المصفوفة على الاقتراب من مصفوفة الوحدة.

لحساب مصفوفة الارتباط المتبادل، يُوحَّد كل بُعد من أبعاد التضمين ليصبح بمتوسط صفري وتباين واحد على مستوى الدفعة، ثم تُضرب مصفوفتا التضمين الموحّدتان ببعضهما:

Cij≜∑bzb,iA zb,jB∑b(zb,iA)2  ∑b(zb,jB)2\mathcal{C}_{ij} \triangleq \frac{\sum_{b} z^{A}_{b,i} \, z^{B}_{b,j}} {\sqrt{\sum_{b} (z^{A}_{b,i})^{2}} \;\sqrt{\sum_{b} (z^{B}_{b,j})^{2}}}
عنصر مصفوفة الارتباط المتبادل بين بُعدَي التضمين ii وjj — كل عنصر في هذه المصفوفة هو معامل ارتباط بيرسون مقاساً على بُعد الدفعة bb. أبعاد المصفوفة C\mathcal{C} هي D×DD \times D حيث DD بُعد التضمين (عادةً 8192)، وتتراوح القيم بين -1 و1.
افتح في المختبر
راقب كيف تتطوّر مصفوفة الارتباط المتبادل أثناء التدريب. القطر ينبغي أن يقترب من 1 (أبيض)، والعناصر خارج القطر ينبغي أن تقترب من 0 (داكنة).
تستيقظ التجربة عند وصولك…

السبب الأعمق: مبدأ بارلو لتقليل التكرار

سُمّي الأسلوب تيمّناً بعالم الأعصاب هوراس بارلو، الذي اقترح عام 1961 أن الهدف النهائي للمعالجة الحسّية هو إعادة ترميز المدخلات الحسّية — وهي مُكرَّرة بطبيعتها — إلى ، أي تمثيل يكون فيه كل مكوِّن مستقلاً إحصائياً عن البقية.

ملاحظة بارلو كانت بسيطة لكنها عميقة: الإشارات الخام التي تصل شبكية العين فيها قدر هائل من التكرار — البكسلات المتجاورة في أي صورة طبيعية مرتبطة بقوة. الجهاز البصري — كما رآه بارلو — وظيفته تجريد هذا التكرار وإنتاج شيفرة مضغوطة وفعّالة يحمل فيها كل عصبون معلومة فريدة لا يحملها عصبون آخر. وهذا بالضبط ما يفعله حدّ خارج القطر في خسارة Barlow Twins: يُجري فكّ ارتباط بين أبعاد التضمين لينتج شيفرة عاملية.

على المستوى النظري، يمكن ربط هذه الخسارة بمبدأ : ابحث عن تمثيل يحفظ أكبر قدر من المعلومات عن المدخل الأصلي، مع أقلّ قدر من المعلومات عن التعزيزات المُطبَّقة تحديداً. حدّ الثبات يُعظّم المعلومات عن المدخل، وحدّ تقليل التكرار يضمن ترميزها بكفاءة دون إسراف.

البنية: توأمان متماثلان مع رأس إسقاط كبير

بنية Barlow Twins بسيطة ومتماثلة بشكل لافت. كلا الفرعين يستخدمان الشبكة ذاتها بالضبط — بلا رأس تنبؤ، ولا مرمِّز عزم، ولا إيقاف تدرّج. الشبكة المشتركة تتألّف من جزأين:

المُرمِّز (): شبكة ResNet-50 قياسية بدون رأس التصنيف، تُنتج تمثيلات بـ 2048 بُعداً. هذه التمثيلات هي ما تستخدمها في بعد التدريب المسبق.

رأس الإسقاط: شبكة MLP من ثلاث طبقات بـ 8192 وحدة في كل طبقة، مع وتنشيط ReLU بعد الطبقتين الأوليين. مخرج رأس الإسقاط — التضمينات ذات الـ 8192 بُعداً — هو ما يدخل دالة الخسارة.

من النتائج اللافتة أن Barlow Twins يستفيد بشكل كبير جداً من مخرجات عالية الأبعاد في رأس الإسقاط. بينما يصل SimCLR وBYOL إلى نقطة تشبّع عند 256 أو 2048 بُعداً، يستمر Barlow Twins في التحسّن حتى 16,384 بُعداً. والسبب بديهي: أبعاد أكثر تعني عناصر أكثر في مصفوفة الارتباط المتبادل، وبالتالي مساحة أوسع لحدّ تقليل التكرار لفرض استقلالية كل بُعد عن الآخر.

افتح في المختبر
على عكس الأساليب الأخرى، يستمر Barlow Twins في التحسّن كلما زادت أبعاد رأس الإسقاط. انقر على كل أسلوب للمقارنة.
تستيقظ التجربة عند وصولك…

الفكرة في الكود

Barlow Twins — شبه كود بأسلوب PyTorchpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

# f: شبكة المرمِّز + رأس الإسقاط
# lambda_: وزن حدّ العناصر خارج القطر
# N: حجم الدفعة، D: بُعد التضمين

for x in loader:
    # الخطوة 1: أنشئ نسختين مُعزَّزتين من الدفعة نفسها
    y_a, y_b = augment(x)

    # الخطوة 2: احسب التضمينات عبر الشبكة نفسها
    z_a = f(y_a)  # الشكل: (N, D)
    z_b = f(y_b)  # الشكل: (N, D)

    # الخطوة 3: وحِّد كل سمة على مستوى الدفعة
    z_a = (z_a - z_a.mean(0)) / z_a.std(0)  # متوسط صفري وتباين واحد لكل سمة
    z_b = (z_b - z_b.mean(0)) / z_b.std(0)

    # الخطوة 4: احسب مصفوفة الارتباط المتبادل D×D
    c = (z_a.T @ z_b) / N

    # الخطوة 5: الخسارة = ادفع c نحو مصفوفة الوحدة
    c_diff = (c - eye(D)).pow(2)
    # العناصر خارج القطر تُوزَن بـ lambda
    off_diagonal(c_diff).mul_(lambda_)
    loss = c_diff.sum()

    # الخطوة 6: انتشار عكسي عادي — التدرّجات تسري في الفرعين معاً
    loss.backward()
    optimizer.step()

المزايا الرئيسية: البساطة والمتانة

ثلاث خصائص تجعل Barlow Twins مميّزاً عن الأساليب المنافسة:

لا حاجة لـأزواج سلبية. SimCLR يحتاج دفعات كبيرة لتوفير أزواج سلبية كافية، لكن Barlow Twins يعمل بالكامل على إحصاءات أبعاد التضمين. يمكنك تقليص إلى 256 مع انخفاض شبه معدوم في الأداء — بينما يخسر SimCLR نحو 4% في الظروف ذاتها.

لا حاجة لكسر التماثل. BYOL يعتمد على مرمِّز عزم، وSimSiam يعتمد على إيقاف التدرّج مع رأس تنبؤ. Barlow Twins يستخدم بنية متماثلة تماماً حيث تسري التدرّجات عبر الفرعين بشكل متطابق. والمفارقة أن إضافة كسر التماثل تُضعف الأداء قليلاً.

يستفيد من رؤوس إسقاط عالية الأبعاد. بينما تصل الأساليب الأخرى إلى حدّ التشبّع، يستمر Barlow Twins في التحسّن كلما ارتفع بُعد المخرج — من 256 إلى 8192 وما بعد. أبعاد أكثر تمنح حدّ تقليل التكرار مساحة أوسع لفرض فكّ الارتباط بين السمات.

افتح في المختبر
يحافظ Barlow Twins على أدائه مع دفعات صغيرة، بينما يتراجع SimCLR بشكل ملحوظ.
تستيقظ التجربة عند وصولك…

Barlow Twins مقابل الأساليب الأخرى: خريطة مفاهيمية

يمكن تصنيف أساليب التعلّم ذاتي الإشراف حسب الآلية التي تتجنّب بها الانهيار:

أساليب التعلّم التبايُني (SimCLR وMoCo) تعتمد على الأزواج السلبية — تدفع بشكل صريح تضمينات الصور المختلفة بعيداً عن بعضها. تنجح هذه الطريقة، لكنها تحتاج إما دفعات ضخمة أو ذاكرة خارجية لتخزين التضمينات.

الأساليب غير المتماثلة (BYOL وSimSiam) تتجنّب الانهيار بحيل بنيوية: مرمِّزات عزم وشبكات تنبؤ وإيقاف تدرّجات. تستغني عن الأزواج السلبية، لكنها لا تُقدّم تفسيراً مبدئياً لسبب نجاحها.

أساليب التجميع (SwAV وDeepCluster) تتجنّب الانهيار عبر تجميع فوري وتعيين نماذج أولية. فعّالة، لكنها تُدخل مكوِّناً غير قابل للتفاضل.

تقليل التكرار (Barlow Twins ولاحقاً VICReg) يتجنّب الانهيار عبر دالة الخسارة ذاتها، بإجراء فكّ ارتباط بين أبعاد التضمين. لا أزواج سلبية، ولا كسر تماثل، ولا تجميع — فقط هدف مبني على أسس نظرية المعلومات.

افتح في المختبر
اضبط حدَّي القطر وخارج القطر بشكل مستقل لترى أثرهما على التمثيلات المُتعلَّمة.
تستيقظ التجربة عند وصولك…

النتائج: بساطة بأداء تنافسي

يحقق Barlow Twins نتائج قوية عبر عدة بروتوكولات تقييم:

التقييم الخطي على ImageNet: دقة 73.2% (top-1)، وهي قريبة من BYOL بـ 74.3% وSwAV بـ 75.3%، ومتقدّمة على SimCLR بـ 69.3% وMoCo v2 بـ 71.1%.

التعلّم شبه المُشرَف (1% فقط من التسميات): دقة 55.0% (top-1) — الأعلى بين جميع الأساليب المنافسة، متجاوزاً BYOL بـ 53.2% وSwAV بـ 53.9%. هنا يتألّق Barlow Twins بوضوح: حين تكون البيانات المُعنونة نادرة جداً، تُثبت تمثيلاته أنها الأكثر صلابة.

التعلّم شبه المُشرَف (10% من التسميات): دقة 69.7% (top-1)، بمستوى SwAV بـ 70.2% ومتقدّمة على BYOL بـ 68.8%.

: أداء تنافسي على Places-205 وVOC07 وiNaturalist و على COCO، ما يُثبت أن السمات المُتعلَّمة تُعمَّم بنجاح خارج نطاق ImageNet.

الجانب الأبرز ليس رقماً بعينه، بل أن هذه النتائج كلها تأتي من أسلوب لا يحتاج أزواجاً سلبية، ولا بنية غير متماثلة، ولا حيل تدريب خاصة — فقط مُرمِّز ورأس إسقاط ودالة خسارة مبنية على أسس نظرية واضحة.

السياق: مشهد التعلّم ذاتي الإشراف

  1. 2020

    SimCLR

    إطار تبايُني بسيط يعتمد على دفعات كبيرة من الأزواج السلبية. يحتاج أحجام دفعات 4096 فأكثر لأفضل أداء، مع خسارة InfoNCE.

  2. 2020

    BYOL

    يستغني عن الأزواج السلبية، لكنه يعتمد على مرمِّز عزم وشبكة تنبؤ لكسر التماثل ومنع الانهيار.

  3. 2021

    SimSiam

    شبكة سيامية مبسّطة بدون أزواج سلبية ولا مرمِّز عزم، لكنها تحتاج إيقاف التدرّج على أحد الفرعين مع رأس تنبؤ.

  4. 2021

    Barlow Twins (هذه الورقة)

    تقليل التكرار عبر مصفوفة الارتباط المتبادل — بلا أزواج سلبية ولا كسر تماثل ولا إيقاف تدرّج. دالة الخسارة وحدها تمنع الانهيار.

  5. 2021

    VICReg

    يُعمِّم فكرة Barlow Twins إلى ثلاثة حدود صريحة: التباين لمنع الانهيار، والثبات لمطابقة النسخ، والتغاير لفكّ ارتباط السمات. يستخدم مصفوفة التغاير بدلاً من مصفوفة الارتباط المتبادل.

المرجعZbontar, Jing, Misra, LeCun, Deny. Barlow Twins: Self-Supervised Learning via Redundancy Reduction. ICML, 2021.

مصطلحات هذه الورقة