الرؤية الحاسوبية2023متوسط11 دقيقة قراءة
DINOv2: تعلُّم سمات بصرية متينة بدون إشراف
DINOv2: Learning Robust Visual Features Without Supervision
Oquab, M. · Darcet, T. · Moutakanni, T. · Vo, H. · Szafraniec, M. · Khalidov, V. · Fernandez, P. · Haziza, D. · Massa, F. · El-Nouby, A. · Assran, M. · Ballas, N. · Galuba, W. · Howes, R. · Huang, P.-Y. · Li, S.-W. · Misra, I. · Rabbat, M. · Sharma, V. · Synnaeve, G. · Xu, H. · Jegou, H. · Mairal, J. · Labatut, P. · Joulin, A. · Bojanowski, P. — TMLR
المشكلة
بحلول 2023، كانت معالجة اللغة الطبيعية قد وصلت إلى مرحلة مريحة: تُدرِّب نموذجاً واحداً على نصوص ضخمة، ثم تأخذ سماته وتستعملها في أي مهمة بلا تعديل. الرؤية الحاسوبية لم تصل إلى هذه المرحلة. طرائق مثل DINO وMAE أعطت نتائج مُبشّرة، لكنها تدرّبت على مجموعات بيانات صغيرة ومُنتقاة كـImageNet-1k. حين حاول الباحثون تكبيرها على بيانات الويب الخام، تدهورت جودة السمات — الضوضاء والتكرار أضرّا أكثر مما أفادت الزيادة في الحجم. في المقابل، نماذج مثل CLIP استفادت من أزواج صورة-نص لتتعلّم سمات قوية، لكنها بقيت مرتبطة بالنصوص وتفقد التفاصيل المكانية الدقيقة على مستوى البكسلات. لم يكن هناك نموذج بصري بحت — بلا تسميات ولا نصوص — يُعطي سمات مُجمَّدة تُنافس النماذج المُشرَف عليها والنصية معاً في مهام الصورة الكاملة ومهام البكسلات.
الإسهام
عائلة من محوِّلات الرؤية (ViT-S/B/L/g) دُرِّبت بالكامل ذاتياً بدون أي تسميات على 142 مليون صورة مُنتقاة (LVD-142M)، جُمعت آلياً من بيانات الويب عبر التشابه البصري مع مصادر منتقاة. يجمع التدريب بين ثلاثة أهداف: التقطير الذاتي على مستوى الصورة (خسارة DINO)، ونمذجة الرُّقع المُقنَّعة (خسارة iBOT)، ومُنظِّم KoLeo لمنع انهيار التمثيلات. تحسينات هندسية (FlashAttention، تعبئة التسلسلات، FSDP، إسقاط عشوائي فعّال) ضاعفت سرعة التدريب وقلّصت استهلاك الذاكرة إلى الثلث. النماذج الأصغر قُطِّرت من مُعلِّم ViT-g بمليار معامل. النتيجة: سمات مُجمَّدة تُضاهي أو تتفوّق على أقوى السمات النصية (OpenCLIP-G) في التصنيف والتجزئة وتقدير العمق والاسترجاع — بلا أي ضبط دقيق.
الأثر
أثبت DINOv2 أن التعلّم بلا إشراف قادر فعلاً على إنتاج سمات بصرية شاملة — ما يُشبه ما حققه GPT في النصوص. سماته المُجمَّدة صارت الخيار الأول في Depth Anything، وفي تطبيقات كثيرة للتجزئة والاسترجاع والفهم ثلاثي الأبعاد. كشف أيضاً أن جودة البيانات وانتقاءها أهم من حجمها في التدريب الذاتي المسبق، وأن التقطير من مُعلِّم كبير يُعطي نتائج أفضل من التدريب المباشر لنماذج أصغر. بعد DINOv2 تغيّرت القناعة السائدة: العمود الفقري البصري الجيد لا يحتاج ضبطاً دقيقاً.
تخيّل طالبَ فنون يزور كل متحف في العالم — لا معلّم يرافقه ولا دليل يُخبره بشيء. يتأمّل كل لوحة وكل صورة بنفسه سنوات طويلة. بعد ذلك، ضع أمامه أي صورة جديدة — أشعة طبية، صورة أقمار صناعية، لوحة زيتية — فيصف بنيتها في لحظة، ويُحدّد مناطقها، ويُقدّر عمق كل سطح فيها. كل هذا بدون أي تدريب إضافي.
هذا بالضبط ما يفعله DINOv2. تدرّب بالكامل عبر على 142 مليون صورة مُنتقاة بعناية، فتعلّم سمات بصرية غنية وشاملة تصلح فوراً لأي مهمة تقريباً — من تصنيف الكائنات الحية إلى تقدير عمق غرفة — دون الحاجة إلى .
الفجوة: لماذا لم تملك الرؤية الحاسوبية نموذجاً تأسيسياً
في مجال النصوص، الوصفة كانت واضحة بحلول 2023: تُدرِّب نموذجاً كبيراً على كمية هائلة من النصوص عبر التعلُّم الذاتي الإشراف، ثم تأخذ سماته وتستعملها مباشرة في أي مهمة — بلا ضبط دقيق. GPT وBERT أثبتا أن نموذجاً واحداً بسمات مُجمَّدة يكفي لتشغيل عشرات المهام.
الرؤية الحاسوبية لم يكن لديها ما يُقابل ذلك. طرائق التعلُّم الذاتي الإشراف مثل DINO وMAE أعطت نتائج مُبشّرة، لكنها اقتصرت على مجموعات بيانات صغيرة مُنتقاة كـImageNet-1k بـ1.3 مليون صورة فقط. حين حاول الباحثون تكبير هذه الطرائق على مليارات الصور من الويب، تراجعت جودة السمات بوضوح — الضوضاء والتكرار في بيانات الويب الخام أفسدا أكثر مما أفاد الحجم الإضافي.
نماذج مثل CLIP اتّبعت مساراً مختلفاً: استخدمت أزواج صورة-نص لتتعلّم سمات بصرية مربوطة باللغة. النتيجة كانت سمات قوية على مستوى الصورة ككل، لكن النصوص وصفٌ ناقص للصورة — تضيع منها التفاصيل المكانية الدقيقة التي تحتاجها مهام مثل وتقدير العمق.
السؤال الذي طرحه DINOv2 كان جوهرياً: هل نستطيع بناء بصري من الصور وحدها — بلا تسميات ولا نصوص — لو أحسنّا انتقاء البيانات وصمّمنا وصفة تدريب مناسبة؟
انتقاء البيانات: الجودة قبل الحجم
الفكرة المركزية في DINOv2 هي أن أهم من حجمها الخام حين نتحدّث عن التدريب المسبق بلا إشراف. الفريق بنى خط معالجة آلياً بالكامل — بلا أي تسميات بشرية أو بيانات وصفية — لتجميع مجموعة بيانات متنوعة ونظيفة ومتوازنة سمّوها LVD-142M.
الفكرة أشبه ببناء مكتبة: مكتبة فيها مليار كتاب عشوائي أقل فائدة من مكتبة فيها 142 مليون كتاب مُختار بعناية يُغطّي كل مجال بلا تكرار. خط المعالجة يمرّ بثلاث مراحل:
المرحلة 1 — البذور. نبدأ بمجموعات بيانات مُنتقاة معروفة (ImageNet-22k، Google Landmarks، مجموعات دقيقة التصنيف) كصور «مرجعية» تُحدّد ما نبحث عنه من تنوّع وجودة.
المرحلة 2 — الاسترجاع. من مستودع يضم 1.2 مليار صورة ويب خام، نسترجع الصور الأقرب بصرياً للصور المرجعية باستخدام في فضاء ذاتي الإشراف. لكل صورة مرجعية نأخذ أقرب 4 جيران.
المرحلة 3 — التنظيف والتوازن. نحذف الصور شبه المُكرّرة عبر كشف النسخ، ثم نُجمّع البيانات في عناقيد لضمان ألّا يطغى نمط بصري واحد على المجموعة.
النتيجة: 142 مليون صورة متنوعة ومتوازنة وخالية من التكرار — جُمعت في أقل من يومين على 20 عقدة GPU.
وصفة التدريب: ثلاث دوال خسارة في نموذج واحد
يجمع DINOv2 بين ثلاثة أهداف تدريبية يُكمّل كلٌّ منها الآخر. فكّر فيها كثلاثة تمارين مختلفة تُجبر النموذج على بناء نوعين من الفهم: فهم شامل (ما الموجود في الصورة؟) وفهم محلّي (أين يقع كل جزء، على مستوى البكسلات؟).
البنية تعتمد على إعداد طالب ومُعلِّم. شبكة الطالب ترى نسخاً مقصوصة ومُقنَّعة من الصورة، بينما شبكة ترى الصورة كاملة بلا قناع. لكن المُعلِّم ليس نموذجاً مستقلاً — هو ببساطة لأوزان الطالب السابقة. هذا يصنع هدفاً تعليمياً مستقراً يتطوّر بهدوء مع تقدّم التدريب.
الخسارة 1: DINO (على مستوى الصورة). كلٌّ من الطالب والمُعلِّم يُنتج رمز — متجه واحد يختصر الصورة كلها. المطلوب من الطالب أن يُنتج ملخصاً يُطابق ما يراه المُعلِّم. هذا يدفع النموذج لتعلّم الدلالات العامة: «هذا كلب»، «هذه غابة». دالة الخسارة هنا هي بين توزيعات الطالب والمُعلِّم:
الخسارة 2: iBOT (على مستوى الرُّقعة). هنا نُخفي رُقعاً عشوائية من مدخل الطالب ونطلب منه أن يُخمّن ما يراه المُعلِّم في تلك المناطق المحجوبة — الأمر أشبه بتجميع أحجية ناقصة القطع. هذا التمرين يُجبر النموذج على تعلّم سمات مكانية دقيقة، وهي بالضبط ما تحتاجه مهام مثل التجزئة الدلالية وتقدير العمق:
الخسارة 3: مُنظِّم KoLeo. مشكلة شائعة في التعلُّم الذاتي الإشراف هي انهيار التمثيلات — أي أن كل السمات تتكدّس في منطقة صغيرة من الفضاء فتفقد تنوّعها وفائدتها. KoLeo يمنع ذلك بدفع السمات للانتشار بانتظام في فضاء التضمين، كأنك تحرص على توزيع الكتب على كل رفوف المكتبة بدل تكديسها في زاوية واحدة:
الهندسة على نطاق واسع: جعل التدريب ممكناً
تدريب بمليار معامل على 142 مليون صورة ليس أمراً بسيطاً هندسياً. فريق DINOv2 قدّم أربعة تحسينات جعلت التدريب مجتمعةً أسرع بمرتين وأخف ذاكرياً بثلاث مرات مقارنة بـiBOT:
FlashAttention. تنفيذ مُخصَّص لآلية يتجنّب بناء مصفوفة الانتباه الكاملة في الذاكرة. هذا مهم جداً لأن استهلاك الذاكرة في ينمو تربيعياً مع طول التسلسل.
تعبئة التسلسلات. خوارزمية DINO تحتاج مقتطعات كبيرة (224×224) وصغيرة (98×98). بدل تمريرها كلّ على حدة (ما يُهدر حوسبة على الحشو)، تُدمج في تسلسل واحد طويل بقناع انتباه كتلي قُطري — يمنع التفاعل بين المقتطعات لكنه يُعالجها دفعة واحدة.
الفعّال. الطريقة التقليدية تحسب الطبقات المُسقطة ثم تُهمل نتائجها. هنا الطبقات المتخطّاة لا تُحسب أصلاً. بنسبة إسقاط 40%، التوفير في الحوسبة والذاكرة كبير.
FSDP (التوازي المُجزّأ بالكامل). نموذج بمليار معامل مع حالات المُحسِّن يحتاج نحو 16 غيغابايت. FSDP يُوزّع هذا الحمل على المعالجات الرسومية، مع اتصالات مختلطة الدقة تُخفّض عرض النطاق المطلوب 50% مقارنة بالتدريب الموزّع التقليدي.
التقطير: مُعلِّم كبير واحد وطلاب أصغر كُثر
تدريب ViT-g (1.1 مليار معامل) من الصفر مُكلف جداً. لذلك، النماذج الأصغر — ViT-S وViT-B وViT-L — لا تُدرَّب من الصفر بل عبر .
الفكرة بسيطة: نأخذ ViT-g المُدرَّب ونُجمّد أوزانه ليصبح مُعلِّماً، ثم نُدرِّب نماذج طالبة أصغر على محاكاة مخرجاته. الإطار هو نفسه المُستخدم في التدريب الأصلي مع تعديلات طفيفة: المُعلِّم مُجمَّد الآن (ViT-g الكبير)، الأقنعة والإسقاط العشوائي تُزال من الطالب، والنموذج النهائي هو المتوسط المتحرك الأسّي للطالب.
النتيجة مفاجئة: النماذج المُقطَّرة تتفوّق على المُدرَّبة من الصفر في كل معيار بلا استثناء. ViT-L المُقطَّر يقترب من مُعلِّمه ViT-g، بل يتفوّق عليه أحياناً. التقطير هنا ليس مجرد توفير في التكلفة — هو فعلاً أفضل.
النتائج: سمات تعمل في كل مكان
ما يُميّز DINOv2 فعلاً هو أن سماته المُجمَّدة — أي المُستخرجة بلا أي تدريب إضافي على المهمة — تُنافس أو تتفوّق على أفضل ما هو متاح عبر طيف واسع من المهام:
تصنيف الصور. عبر على ImageNet-1k، يصل DINOv2 ViT-g إلى 86.5% — متجاوزاً OpenCLIP-G عند 86.2% وEVA-CLIP عند 86.4%، وكلاهما استخدم إشرافاً نصياً. على معايير المتانة مثل ImageNet-A، الفارق أوضح: 75.9% لـDINOv2 مقابل 63.8% لـOpenCLIP-G.
التجزئة الدلالية. بطبقة خطية واحدة فوق السمات المُجمَّدة، يصل DINOv2 إلى 53.0 mIoU على ADE20k — وهذا يُقارب ما يُحققه MAE مع ضبط دقيق كامل ومفكّك UperNet معقّد (53.6). ومع مفكّك كامل يصل إلى 60.2 mIoU.
تقدير العمق. سمات DINOv2 مع رأس DPT بسيط تُضاهي أو تتجاوز نماذج متخصصة في تقدير العمق — رغم أنه عام الأغراض. هذه القدرة هي ما مكّن Depth Anything مباشرة.
استرجاع النُّسخ. على Oxford-Hard، يُسجّل DINOv2 معدل 52.3 mAP مقابل 19.7 لـOpenCLIP-G — أفضل بنحو ثلاثة أضعاف. هذا يعني أن السمات تلتقط الهوية الدقيقة للأشياء وليس مجرد تشابه على مستوى الفئة.
أن نموذجاً واحداً بلا إشراف وبسمات مُجمَّدة يُنافس نماذج متخصصة في كل هذه المهام — هذا هو الإنجاز المركزي لـDINOv2.
رؤية ما يراه النموذج: تحليل المكونات الرئيسية لسمات الرُّقع
من أقوى الأدلة على جودة DINOv2 هي تصوير سمات الرُّقع بـ. خذ رموز الرُّقع من الطبقة الأخيرة، واعرضها على أول ثلاثة مكونات رئيسية بحيث يُمثَّل كل مكون بقناة لونية (أحمر، أخضر، أزرق) — ستجد شيئاً لافتاً: النموذج بنى خريطة دلالية ثابتة عبر الصور.
مثلاً، رأس الكلب يظهر باللون نفسه عبر سلالات ووضعيات مختلفة، بل حتى بين كلب حقيقي ولوحة مرسومة لكلب. وبكسلات الخلفية تنفصل تلقائياً عن الأمامية. النموذج تعلّم — بلا أي تسميات — أن يُجزّئ الأجسام ويُطابق أجزاءها الدلالية عبر صور مختلفة تماماً.
هذا ليس مجرد رسم جميل — بل دليل ملموس على أن السمات تحتوي بنية مكانية ودلالية غنية، وهو ما تفتقر إليه كثيراً السمات المُدرَّبة بإشراف تقليدي.
من DINO إلى DINOv2: الطريق إلى السمات البصرية التأسيسية
2020
BYOL وSimCLR
أرسيا أُسس التعلّم التبايُني والتقطير الذاتي في مجال الرؤية بلا إشراف، وأثبتا أن أهدافاً مبنية على تحويلات الصور تكفي لتعلّم سمات قوية من الصور وحدها.
2021
DINO (كارون وآخرون)
طبّق التقطير الذاتي على محوِّلات الرؤية، وكشف أن سمات ViT المُدرَّبة بمُعلِّم زخمي تحتوي تلقائياً على تجزئة للأجسام داخل خرائط الانتباه — بلا أي تسميات.
2021
VICReg (باردس وآخرون)
اقترح تنظيماً يجمع بين التباين والثبات والتغاير لمنع انهيار التمثيلات بلا حاجة لأزواج سلبية أو مرمِّزات زخمية، وهو ما ألهم طريقة نشر السمات في DINOv2.
2022
MAE (هي وآخرون)
أثبت أن المرمِّزات الذاتية المُقنَّعة تتعلّم سمات قوية عبر إعادة بناء رُقع محجوبة من الصورة. سماته تحتاج ضبطاً دقيقاً للاستخدام، لكن فكرة الهدف على مستوى الرُّقعة انتقلت مباشرة إلى مكوّن خسارة iBOT في DINOv2.
2022
iBOT (جو وآخرون)
جمع بين التقطير الذاتي بأسلوب DINO ونمذجة الصور المُقنَّعة على مستوى الرُّقعة، فكان بذلك الأساس المباشر لوصفة تدريب DINOv2.
2023
DINOv2 (هذه الورقة)
وسّع التدريب الذاتي المسبق ببيانات مُنتقاة وتحسينات هندسية وتقطير، فأنتج أول نموذج بلا إشراف تُضاهي سماته المُجمَّدة النماذج النصية عبر مهام الصورة الكاملة والبكسلات معاً.
2024
Depth Anything (يانغ وآخرون)
استخدم العمود الفقري المُجمَّد لـDINOv2 مباشرة لبناء نموذج رائد في تقدير العمق الأحادي، ما أكّد عملياً أن DINOv2 مستخرج سمات بصرية شامل وجاهز.
المرجعOquab, Darcet, Moutakanni, Vo, Szafraniec, Khalidov, Fernandez, Haziza, Massa, El-Nouby, Assran, Ballas, Galuba, Howes, Huang, Li, Misra, Rabbat, Sharma, Synnaeve, Xu, Jegou, Mairal, Labatut, Joulin, Bojanowski. DINOv2: Learning Robust Visual Features Without Supervision. Transactions on Machine Learning Research (TMLR), 2023.
مصطلحات هذه الورقة
- التعلم ذاتي الإشرافSelf-Supervised Learning
- محوِّل الرؤية (ViT)Vision Transformer (ViT)
- تقطير المعرفةKnowledge Distillation
- تعزيز البياناتData Augmentation
- استخلاص السماتFeature Extraction
- الاختبار الخطيLinear Probing
- التجزئة الدلالية للصورةSemantic Segmentation
- التعلم التبايُنيContrastive Learning
- نمذجة الصورة المُقنَّعةMasked Image Modeling
- البنية الأساسيةBackbone
- نموذج أساسيFoundation Model
- نموذج المعلمTeacher Model
- نموذج الطالبStudent Model
- المتوسط المتحرك الأُسِّيExponential Moving Average (EMA)
- تشابه جيب التمامCosine Similarity