تعلم التمثيلات2021متوسط12 دقيقة قراءة
استكشاف تعلُّم التمثيلات بشبكات سيامية بسيطة
Exploring Simple Siamese Representation Learning
Chen, X. · He, K. — CVPR
المشكلة
بحلول عام 2020، كان التعلم الذاتي الإشراف للصور قد قطع شوطاً كبيراً عبر أساليب مثل SimCLR وMoCo وSwAV وBYOL. لكن كل أسلوب كان يعتمد على حيلة مختلفة لتفادي — أي أن الشبكة تُخرج المتجه الثابت نفسه لأي مدخل بلا تمييز. SimCLR احتاج إلى أزواج سلبية ودفعات ضخمة. MoCo احتاج إلى مُرمِّز زخم وطابور عيّنات. SwAV احتاج إلى عنقدة فورية. BYOL احتاج إلى مُرمِّز زخم. والسؤال الذي ظل مفتوحاً: أيّ هذه المكونات ضروري فعلاً، وأيّها مجرد إضافة يمكن الاستغناء عنها؟
الإسهام
SimSiam: شبكة سيامية في أبسط صورها، تتعلّم تمثيلات ذات معنى بدون أزواج سلبية، وبدون دفعات ضخمة، وبدون مُرمِّز زخم. البنية ببساطة عبارة عن مُرمِّز مشترك الأوزان مع شبكة تنبؤ MLP على أحد الفرعين وعملية إيقاف تدرُّج على الفرع الآخر. تُبيّن الورقة أن إيقاف التدرُّج وحده هو العنصر الجوهري لمنع الانهيار، وتطرح فرضية مفادها أن SimSiam يحل ضمنياً مسألة أمثَلة تناوبية شبيهة بخوارزمية تعظيم التوقع (EM). يحقق النموذج دقة 71.3% في التقييم الخطي على ImageNet بعد 800 حقبة تدريب، ونتائج تنافسية في نقل التعلُّم إلى مهام الكشف والتجزئة.
الأثر
جرّد SimSiam التعلم الذاتي الإشراف إلى جوهره، فأثبت أن البنية السيامية نفسها — لا الإضافات المُلحقة بها — هي السبب الحقيقي وراء نجاح هذه الأساليب. شكّل SimSiam نقطة مرجعية توحيدية تربط بين SimCLR وBYOL وSwAV وMoCo: كل منها يمكن وصفه بأنه «SimSiam مع مكوِّن إضافي واحد». هذا الطرح غيّر فهم المجتمع البحثي وألهم أعمالاً لاحقة مثل Barlow Twins وVICReg وغيرها من الأساليب غير التبايُنية التي واصلت تبسيط المنظومة.
تخيّل نحّاتاً ومصوّراً يدرسان التمثال نفسه. النحّات يصنع نسخة من الطين، والمصوّر يلتقط صورة فوتوغرافية. حَكَمٌ يقارن العملين ويقول: «قرِّباهما من بعض.» لكن القاعدة هنا: النحّات وحده يسمع الملاحظات ويُعدِّل عمله. أما صورة المصوّر فمُجمَّدة — هدف ثابت لا يتغيّر.
لو لم تكن هذه القاعدة موجودة، سيختار الاثنان أسهل طريق مختصر: يُنتجان كتلة رمادية بلا ملامح، واحدة لكل التماثيل. هذه الكتلة هي ما نسمّيه انهيار التمثيلات.
ما اكتشفه SimSiam أن هذه التغذية الراجعة غير المتماثلة — طرف يتعلّم والآخر ثابت — هي كل ما تحتاجه لمنع الانهيار. لا حاجة لـ، ولا لآلاف التماثيل في كل دفعة، ولا لـ يتحدّث ببطء في الخلفية. فقط: اجعل التغذية الراجعة باتجاه واحد.
العدو: انهيار التمثيلات
الفكرة وراء بسيطة في جوهرها: نريد أن نُعلِّم الشبكة فهم الصور دون أي تسميات بشرية. كيف؟ نأخذ صورة واحدة ونصنع منها نظرتين مختلفتين — بقصّ مختلف، وتغيير ألوان، وربما تمويه — ثم ندرّب الشبكة لتُنتج تمثيلات متقاربة للنظرتين. المنطق واضح: إذا نجحت الشبكة في التقاط التشابه بين نظرتين للصورة ذاتها، فهي بالضرورة تتعلّم شيئاً ذا معنى عن محتوى تلك الصورة.
لكن هناك ثغرة خطيرة. الشبكة تستطيع أن تختصر الطريق بأن تُخرج المُتَّجَه نفسه لـكل مدخل بلا استثناء. نظرتان لقطة؟ المتجه ذاته. نظرتان لسيارة؟ المتجه ذاته. التشابه بين المخرجات مثالي — لكن التمثيل عديم الفائدة تماماً. هذا الفشل يُعرف بـانهيار التمثيلات، وكل أسلوب تعلُّم ذاتي الإشراف قبل SimSiam احتاج آلية مخصوصة لتفاديه.
قبل ظهور SimSiam، ابتكر الباحثون أربع استراتيجيات مختلفة لمكافحة الانهيار، كل واحدة تُضيف طبقة من التعقيد. SimCLR كان يُبعد تمثيلات الصور المختلفة عن بعضها باستخدام عيّنات سلبية، وهذا استلزم دفعات ضخمة تصل إلى 4096 صورة أو أكثر حتى يتوفر عدد كافٍ من هذه العيّنات. MoCo أدار طابوراً من التمثيلات السلبية عبر مُرمِّز زخم — أي نسخة من الشبكة الأصلية تُحدَّث ببطء. SwAV استغنى عن السلبيات واستبدلها بـ فورية عبر تحويل سينكهورن-كنوب. BYOL تخلّص من السلبيات نهائياً لكنه ظلّ يعتمد على مُرمِّز زخم ليوفّر أهدافاً مستقرة. كل أسلوب نجح في منع الانهيار، لكن كلّاً منها جاء بعبء حسابي أو معماري ملموس. السؤال الذي طرحه SimSiam كان جريئاً: ماذا لو حذفنا كل هذه الإضافات؟
بنية SimSiam: بساطة جذرية
بنية SimSiam بسيطة بشكل لافت. نبدأ بصورة x ونصنع منها نظرتين مُعزَّزتين x₁ وx₂ بتطبيق قصّ عشوائي، وتذبذب لوني، وقلب أفقي، وتمويه غاوسي. النظرتان تمرّان معاً عبر ذاته f — وهو من نوع ResNet-50 متبوع بـ MLP من ثلاث طبقات. الناتج هو متجها الإسقاط z₁ = f(x₁) وz₂ = f(x₂).
هنا يظهر عدم التماثل. أحد الفرعين يمرّ بشبكة تنبؤ إضافية يرمز لها بـ h، فيُنتج p₁ = h(z₁). أما مخرج الفرع الآخر z₂ فيُعامَل كهدف ثابت عبر . النموذج يسعى إلى تعظيم بين p₁ وstopgrad(z₂).
الكاملة تُتمّم هذا بالتناظر: كلا الفرعين يتبادلان دور المتنبِّئ والهدف. لكن النقطة الجوهرية أن إيقاف التدرُّج يُطبَّق دائماً على جانب الهدف.
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
# f: الهيكل الأساسي + رأس الإسقاط MLP
# h: شبكة التنبؤ MLP
for x in loader: # تحميل دفعة صغيرة
x1, x2 = aug(x), aug(x) # تعزيزان عشوائيان
z1, z2 = f(x1), f(x2) # الإسقاطات (n × d)
p1, p2 = h(z1), h(z2) # التنبؤات (n × d)
L = D(p1, z2)/2 + D(p2, z1)/2 # الخسارة المتناظرة
L.backward() # الانتشار العكسي
update(f, h) # تحديث SGD
def D(p, z):
z = z.detach() # ⬅ إيقاف التدرُّج: عامِل z كثابت
p = normalize(p, dim=1) # تطبيع L2
z = normalize(z, dim=1) # تطبيع L2
return -(p * z).sum(dim=1).mean()الاكتشاف المحوري: إيقاف التدرُّج يمنع الانهيار
أهم نتيجة تجريبية في الورقة واضحة ومباشرة. خذ بنية SimSiam كما هي. أَبقِ كل شيء كما هو — المُرمِّز، ورأس الإسقاط، وشبكة التنبؤ، و، والمُحسِّن، وكل المعاملات الفائقة — بلا أي تعديل. غيِّر شيئاً واحداً فقط: أزِل إيقاف التدرُّج. ماذا يحدث؟ انهيار فوري. الخسارة تهبط مباشرة إلى أدنى قيمة ممكنة (−1)، والانحراف المعياري للمخرجات ينزل إلى صفر — بمعنى أن كل المخرجات أصبحت متطابقة — ودقة مصنِّف الجوار الأقرب تبقى عند مستوى التخمين العشوائي (0.1% على ImageNet).
أعِد إيقاف التدرُّج؟ الخسارة تتقارب طبيعياً، والانحراف المعياري للمخرجات يستقر قرب القيمة المتوقعة نظرياً 1/√d (حيث d = 2048)، ودقة مصنف الجوار الأقرب تتحسّن باطّراد، و النهائي يصل إلى 67.7%.
هذه التجربة الواحدة هي أقوى حُجج الورقة. تُثبت أن البنية وحدها — شبكة التنبؤ، وتسوية الدفعات، وتطبيع L2 — لا تكفي لمنع الانهيار. إيقاف التدرُّج هو المكوِّن الذي لا غنى عنه.
دراسات الاستئصال: ما يهم وما لا يهم
الورقة تختبر كل مكوِّن على حدة بشكل منهجي لتفصل بين ما هو ضروري لمنع الانهيار وما يؤثر على الدقة فحسب.
شبكة التنبؤ MLP. حذف شبكة التنبؤ h بالكامل يُسبب الانهيار — لكن هذا ليس لأن الشبكة ذاتها تمنع الانهيار، بل لسبب رياضي: مع الخسارة المتناظرة وبدون المتنبئ، يصبح تدرُّج نسخة إيقاف التدرُّج مطابقاً (بعامل ½) لتدرُّج النسخة بدونه. المتنبئ هو الذي يكسر هذا التطابق ويجعل لإيقاف التدرُّج أثراً فعلياً. واللافت أن استخدام ثابت بلا انحلال لـ h يُعطي نتائج أفضل قليلاً، وكأن h يحتاج أن يظلّ يتكيّف مع أحدث التمثيلات بدل أن يتقارب مبكراً.
. SimSiam يعمل بكفاءة ممتازة عبر أحجام دفعات من 64 إلى 4096 — عكس SimCLR وSwAV تماماً اللذين يحتاجان دفعات بحجم 4096 ليعملا جيداً. حتى مع دفعة صغيرة من 128 عيّنة تنخفض الدقة 0.8% فقط. هذه ميزة عملية كبيرة: SimSiam يتناسب تماماً مع الإعدادات المعتادة لـ 8 وحدات معالجة رسومية بحجم دفعة 256 أو 512.
تسوية الدفعات. إزالة جميع طبقات تسوية الدفعات من رؤوس MLP لا تُسبب انهياراً (الدقة منخفضة عند 34.6% لكنها ليست صفرية). إضافتها للطبقات المخفية تُحسّن عملية الأمثَلة وترفع الدقة إلى 67.4%. إضافتها لمخرج رأس الإسقاط ترفعها إلى 68.1%. لكن إضافتها لـمخرج شبكة التنبؤ تُسبب عدم استقرار في التدريب. الخلاصة: تسوية الدفعات تُساعد الأمثَلة لكنها لا تمنع الانهيار.
دالة التشابه. استبدال تشابه جيب التمام بتشابه لا يزال يُعطي نتائج معقولة (63.2% مقابل 68.1%). هذا يعني أن منع الانهيار لا يرتبط بمقياس التشابه المُستخدم.
الفرضية: SimSiam كأمثَلة تناوبية
لماذا ينجح إيقاف التدرُّج؟ الورقة تطرح فرضية أنيقة: SimSiam يحلّ ضمنياً مسألة من نمط (EM) بمجموعتين من المتغيرات.
تصوّر أن لدينا دالة خسارة بمُدخلَيْن — معاملات الشبكة θ ومجموعة مساعدة من المتغيرات η، بحيث يمثل ηₓ التمثيل «المثالي» للصورة x. مسألة الأمثَلة هنا تسعى لتقليل المسافة المتوقعة بين مخرجات الشبكة للنظرات المُعزَّزة وبين هذه التمثيلات المثالية.
المسألة تُشبه (k-means): يمكن حلّها بالتناوب — ثبِّت η وحدِّث θ (خطوة تدريب)، ثم ثبِّت θ وحدِّث η (بتعيين كل صورة متوسط تمثيلها عبر ). إيقاف التدرُّج يظهر هنا كنتيجة طبيعية: عند حلّ θ، الأهداف η ثوابت فلا تمرّ عبرها أي تدرُّجات.
SimSiam يُقرِّب هذا التناوب في خطوة واحدة: يأخذ تعزيزاً واحداً لتقدير η بدل حساب التوقع الكامل، ويُنفِّذ خطوة واحدة لـ θ. شبكة التنبؤ h تسدّ الفجوة الناتجة عن هذا التقريب — فبإمكانها تعلُّم التنبؤ بالتمثيل المتوقع الذي لا يستطيع تعزيز واحد توفيره.
SimSiam كمحور توحيدي
واحدة من أعمق مساهمات SimSiam مفاهيمية بامتياز: يكشف أن الأساليب الرائدة في التعلُّم الذاتي الإشراف كلها تنويعات على البنية السيامية نفسها، وكل منها يُضيف مكوِّناً إضافياً واحداً. SimSiam هو النواة المُجرّدة من كل الزوائد.
SimCLR = SimSiam + عيّنات سلبية. SimCLR يمنع الانهيار بإبعاد تمثيلات الصور المختلفة عن بعضها. إضافة شبكة التنبؤ أو إيقاف التدرُّج إلى SimCLR لا تفيد ولا تضر — آلية تحلّ مسألة أمثَلة مختلفة من الأصل.
BYOL = SimSiam + مُرمِّز زخم. BYOL يتجنب الانهيار بنسخة بطيئة التحديث من المُرمِّز تعمل كهدف. SimSiam يُبيّن أن هذا الزخم مفيد للدقة لكنه ليس شرطاً لمنع الانهيار.
SwAV = SimSiam + عنقدة فورية. SwAV يستبدل التشابه المباشر بتعيين العناقيد عبر تحويل سينكهورن-كنوب. إزالة إيقاف التدرُّج من SwAV تُسبب انحرافاً — وهذا منطقي لأن العنقدة بطبيعتها صياغة تناوبية.
MoCo = SimSiam + مُرمِّز زخم + طابور سلبيات. MoCo يجمع بين مُرمِّز الزخم وطابور من العينات السلبية. SimSiam يحذفهما معاً.
النتائج: تنافسية رغم البساطة
في التقييم الخطي على ImageNet باستخدام هيكل ResNet-50، يحقق SimSiam دقة 68.1% بعد تدريب مسبق لمئة — وهي الأعلى بين جميع الأساليب عند هذه المدة. مع 200 حقبة تصل الدقة إلى 70.0%، ومع 800 حقبة إلى 71.3%. صحيح أن BYOL يحقق دقة أعلى مع جداول تدريب أطول (74.3% عند 800 حقبة)، لكن SimSiam يصل إلى نتائجه بحجم دفعة 256 فقط، ومُحسِّن SGD معياري بلا LARS، وبدون مُرمِّز زخم.
والأهم من ذلك ربما أن تمثيلات SimSiam تُنقل بشكل ممتاز إلى المهام اللاحقة. في على PASCAL VOC وفي كشف الأجسام و على COCO، يُضاهي SimSiam الأساليب الأخرى أو يتفوق عليها، بل إن جميع هذه الأساليب تتجاوز التدريب المُشرف على ImageNet أو تُعادله. وصفة SimSiam «المُحسَّنة» — بمعدل تعلُّم وانحلال أوزان مُعدَّلَيْن — تحقق أفضل نتائج ، مما يدلّ على أن التمثيلات المُتعلَّمة تلتقط سمات بصرية مفيدة فعلاً.
يُشدِّد المؤلفان على نقطة أعمق: رغم الاختلافات الكبيرة بين SimCLR وMoCo وBYOL وSwAV وSimSiam، كلها ناجحة جداً في نقل التعلُّم. العامل المشترك بينها هو بحدّ ذاتها، مما يُرجّح أنها السبب الجوهري وراء نجاحها جميعاً.
الصورة الأوسع: الشبكات السيامية كانحياز استقرائي
الورقة تُختتم بملاحظة تستحق التأمل. الالتفافات نجحت لأنها تحمل قوياً: من خلال . المرشّح الذي يكتشف الحواف يعمل بنفس الطريقة أينما وُضع في الصورة.
الشبكات السيامية تحمل انحيازاً مماثلاً في قوته: تجاه التحويلات عبر مشاركة الأوزان أيضاً. حين نُمرّر نظرتين مُعزَّزتين عبر المُرمِّز ذاته، تصبح الشبكة منحازة بنيوياً لإنتاج مخرجات متقاربة لمدخلات لا تختلف إلا في التعزيز — وهذا بالضبط تعريف الثباتية. كما تُضمِّن الالتفافات افتراض «النمط هو ذاته بغض النظر عن موقعه في الصورة»، تُضمِّن الشبكات السيامية افتراض «الصورة هي ذاتها بغض النظر عن طريقة قصّها أو تحويل ألوانها أو تمويهها».
بساطة SimSiam تُبرز هذه الرؤية بوضوح تام. حين تنزع العيّنات السلبية والزخم والعنقدة، ما يتبقّى هو آلة نقيّة لتعلُّم الثباتية. البنية السيامية ليست مجرد هيكل ملائم — بل هي الآلية الجوهرية.
التسلسل الزمني: الطريق إلى SimSiam
2006
أسس التعلم التبايُني
قدّم هادسل وتشوبرا ولوكان الخسارة التبايُنية لتعلُّم تعيينات ثابتة تجاه التحويلات. فكرة جذب الأزواج المتشابهة وإبعاد المختلفة هي التي أرست الأساس لهذا المجال.
2018
تمييز النُّسخ
اقترح وو وآخرون معاملة كل صورة بوصفها فئة مستقلة مع ذاكرة مؤقتة للتمثيلات، فأسّسوا بذلك التعلم التبايُني على مستوى النُّسخ الفردية.
2020
SimCLR — إطار تبايُني بسيط
أظهر تشن وآخرون أن إطاراً بسيطاً يجمع بين تعزيزات قوية ورأس إسقاط ودفعات كبيرة من العيّنات السلبية يحقق نتائج فعّالة جداً.
2020
MoCo v2 — التعلم التبايُني بالزخم
استخدم هي وآخرون مُرمِّز زخم وطابور عيّنات سلبية، مما أتاح تعلماً تبايُنياً فعّالاً حتى مع دفعات صغيرة.
2020
BYOL — بلا حاجة إلى سلبيات
تخلّص غريل وآخرون من الأزواج السلبية كلياً واعتمدوا فقط على مُرمِّز الزخم لتوفير أهداف مستقرة. لكن السبب الدقيق الذي يمنع الانهيار ظلّ غير واضح.
2020
SwAV — العنقدة تلتقي بالشبكات السيامية
أدخل كارون وآخرون العنقدة الفورية عبر تحويل سينكهورن-كنوب ضمن الإطار السيامي، متجنبين السلبيات الصريحة عبر قيود التقسيم المتوازن.
2021
SimSiam — خط الأساس السيامي الأدنى
جرّد تشن وهي كل الإضافات: بلا سلبيات، بلا مُرمِّز زخم، بلا عنقدة. فقط مُرمِّز مشترك الأوزان، ومتنبئ، وإيقاف تدرُّج. وأثبتا أن البنية السيامية نفسها هي الآلية الجوهرية.
2021
Barlow Twins — تقليل التكرار
واصل زبونتار وآخرون الاتجاه غير التبايُني، فمنعوا الانهيار بإزالة الارتباط بين أبعاد التضمين بدل استخدام إيقاف التدرُّج — تبسيط آخر استلهم فلسفة SimSiam.
المرجعChen, He. Exploring Simple Siamese Representation Learning. CVPR, 2021.
مصطلحات هذه الورقة
- الشبكة السياميةSiamese Network
- إيقاف التدرّجStop Gradient
- انهيار التمثيلاتRepresentation Collapse
- التعلم التبايُنيContrastive Learning
- تشابه جيب التمامCosine Similarity
- التعلم ذاتي الإشرافSelf-Supervised Learning
- تعزيز البياناتData Augmentation
- مُرمِّز الزخمMomentum Encoder
- العيّنة السلبيةNegative Sample
- الزوج الإيجابيPositive Pair
- رأس الإسقاطProjection Head
- البنية الأساسيةBackbone
- تسوية الدفعات الحسابيةBatch Normalization
- نقل التعلمTransfer Learning
- الثباتInvariance