السَّمْت

الرؤية الحاسوبية2021متوسط13 دقيقة قراءة

تعلُّم نماذج بصرية قابلة للنقل عبر الإشراف باللغة الطبيعية

Learning Transferable Visual Models from Natural Language Supervision

Radford, A. · Kim, J. W. · Hallacy, C. · Ramesh, A. · Goh, G. · Agarwal, S. · Sastry, G. · Askell, A. · Mishkin, P. · Clark, J. · Krueger, G. · Sutskever, I. — ICML

المشكلة

كانت نماذج الرؤية الحاسوبية الأحدث تتدرَّب على مجموعات تصنيفات ثابتة مثل فئات ImageNet الألف. وللتعرّف على أي شيء جديد — سلالة كلب أو صورة أشعة طبية أو صورة قمر اصطناعي — كان لا بدّ من جمع بيانات مُعنوَنة جديدة ثم إجراء ضبط دقيق للنموذج. النتيجة: نماذج هشّة ومُكلفة في التكيُّف مع أي مجال جديد. في الوقت نفسه، أثبت مجال معالجة اللغة الطبيعية أن على نصوص خام يُنتج تمثيلات تنتقل بكفاءة عالية بين المهام. فهل يمكن للرؤية الحاسوبية أن تتعلّم بالطريقة ذاتها — من اللغة نفسها؟

الإسهام

CLIP (التدريب المسبق التبايُني للغة والصورة): نموذج بمُرمِّزَين مستقلَّين يُدرَّبان معاً — مُرمِّز صور (ResNet أو ViT) ومُرمِّز نصوص (Transformer) — على 400 مليون زوج صورة-نص من الإنترنت. دالة خسارة تبايُنية متماثلة تقرّب الأزواج المتطابقة وتُبعد غير المتطابقة في فضاء مشترك. عند الاستدلال، يكفي مقارنة تضمين الصورة بتضمينات أوصاف الفئات المرشَّحة لتصنيفها بدون أمثلة — بلا ضبط دقيق ولا بيانات مُعنوَنة ولا إعادة تدريب. حقَّق CLIP دقة تضاهي ResNet-50 المُدرَّب بإشراف كامل على ImageNet دون أن يرى صورة تدريب واحدة منها.

الأثر

يُمثِّل CLIP الأساس المعماري لعصر النماذج متعددة الوسائط. فهو يُشغِّل برج الرؤية في DALL·E وStable Diffusion ومعظم مولّدات الصور من النصوص. كواشف المفردات المفتوحة (OWL-ViT وGrounding DINO) ونماذج تقطيع أي شيء (SAM) ومُرمِّزات الرؤية في النماذج اللغوية الكبيرة متعددة الوسائط — جميعها انبثقت من فكرة CLIP: اجعل الرؤية واللغة تعيشان في فضاء مشترك واحد، ثم دَع اللغة تقود النموذج.

مصنّفات الصور التقليدية تشبه موظف جمارك يحمل قائمة ثابتة من ألف صنف. أعطِه جوازاً يعرفه وسيختمه فوراً. لكن أعطِه شيئاً خارج القائمة — حجراً كريماً نادراً أو أداة طبية — وسيقف عاجزاً.

ما يفعله CLIP هو أنه يستبدل تلك القائمة بـإتقان لغة الصور. بدلاً من حفظ قائمة جامدة، تعلَّم أن يقرأ الأوصاف التي تصف شكل الأشياء. الآن تستطيع أن تسأله بلغة عادية — «صورة كلب كورغي ويلزي» — وسيفهم، حتى لو لم يُدرَّب على هذا الصنف من قبل.

المشكلة: نماذج رؤية لا ترى أبعد من تصنيفاتها التدريبية

بحلول عام 2020 كانت الطريقة السائدة في الرؤية الحاسوبية تسير هكذا: اجمع مُعنوَنة (مثل صور ImageNet البالغة 1.28 مليون صورة موزَّعة على 1,000 فئة)، ثم درِّب شبكة التفافية أو محوِّلاً بصرياً على التنبّؤ بتلك التصنيفات، ثم أجرِ للنموذج على مهمتك المستهدفة. هذا الأسلوب كان يعمل — لكنه يعاني من عيبَين جوهريَّين:

  • مفردات ثابتة. النموذج لا يتعرّف إلا على الفئات التي دُرِّب عليها. نموذج مُدرَّب على ImageNet يعرف «لابرادور» لكنه لا يعرف «غولدن دودل». إضافة فئة واحدة جديدة تعني جمع بيانات وإعادة تدريب.

  • إشراف مُكلِف. تعنوُن ملايين الصور يتطلّب جهداً بشرياً هائلاً. ImageNet وحدها احتاجت أكثر من 25,000 مُعنوِن. وكل مجال جديد — التصوير الطبي أو صور الأقمار الاصطناعية أو الأنماط الفنية — يحتاج حملة تعنوُن منفصلة.

في المقابل، اكتشف مجال معالجة اللغة الطبيعية طريقاً مختصراً: درِّب على نصوص خام من الإنترنت ودَع النموذج يتعلّم بنية اللغة بنفسه. GPT وBERT لم يحتاجا إلى تصنيفات يدوية. فهل تستطيع الرؤية الحاسوبية أن تسلك المسار ذاته؟

افتح في المختبر
قارن بين الأسلوب التقليدي (تصنيفات ثابتة وإعادة تدريب عند كل مهمة جديدة) وأسلوب CLIP (مفردات مفتوحة ونقل بدون أمثلة).
تستيقظ التجربة عند وصولك…

الوقود: 400 مليون زوج صورة-نص من الإنترنت

لكي يتعلّم CLIP من اللغة بدلاً من التصنيفات الثابتة، فهو يحتاج كمّاً هائلاً من الصور المقرونة بأوصاف طبيعية. لذلك بنى المؤلفون مجموعة WebImageText ‏(WIT): تضمّ 400 مليون زوج (صورة، نص) جُمعت من مصادر مفتوحة على الإنترنت. بدأوا بنحو 500,000 استعلام أوّلي مُشتقّ من مصطلحات ويكيبيديا ومجموعات WordNet المعجمية وثنائيات الكلمات الشائعة، ثم جمعوا الصور والنصوص المرتبطة بها من الويب.

لماذا 400 مليون تحديداً؟ المحاولات السابقة للتعلّم من التعليقات اعتمدت على مجموعات بيانات صغيرة ومنتقاة بعناية (مثل MS-COCO التي تضمّ 330,000 زوج فقط). عند هذا الحجم المحدود، لم يستطع الإشراف اللغوي منافسة النماذج المُدرَّبة على ImageNet. ما أثبته CLIP هو أنّ تضخيم البيانات ألف ضعف — من مئات الآلاف إلى مئات الملايين — هو المفتاح لنجاح الإشراف اللغوي. الإنترنت نفسه تحوَّل إلى المُعنوِن.

الفكرة: طابِق كل صورة بوصفها

هدف تدريب CLIP بسيط إلى حدٍّ يُخفي عمقه. خُذ دفعة من NN زوج صورة-نص. لكل صورة تعليق صحيح واحد بالضبط، ولكل تعليق صورة صحيحة واحدة بالضبط. المطلوب من النموذج أن يكتشف أيّ صورة تنتمي لأيّ نص — إنها ببساطة لعبة مطابقة.

الآلية: منفصلان — واحد للصور وآخر للنصوص — كلٌّ منهما يُنتج (أي تضميناً). متجها الزوج المتطابق يجب أن يتّجها نحو الاتجاه نفسه، أمّا متجها الزوج غير المتطابق فيجب أن يتباعدا. هذا هو جوهر : قرِّب الأزواج الصحيحة من بعضها وأبعِد الأزواج الخاطئة.

تخيَّلها كـلعبة بطاقات تعريف في مؤتمر. NN شخص يدخلون قاعة، كلٌّ منهم يرتدي شارة عليها صورة ويحمل في يده بطاقة وصف. مهمة النموذج أن يربط كل شارة ببطاقة الوصف الصحيحة. في دفعة واحدة من 32,768 زوجاً، هناك 32,768 تطابقاً صحيحاً وأكثر من مليار تطابق خاطئ. النموذج يتحسّن بالتدريج عبر مليارات الأمثلة من هذه اللعبة.

افتح في المختبر
اسحب بطاقات الصور إلى أوصافها النصية المطابقة. هذا بالضبط ما يتعلّمه CLIP — لكن بـ32,768 زوجاً في المرة الواحدة.
تستيقظ التجربة عند وصولك…

مُرمِّزان اثنان وفضاء مشترك واحد

يتألف CLIP من لا يتشاركان الأوزان، لكنهما يتعلّمان إنتاج تضمينات في الفضاء الهندسي ذاته:

مُرمِّز الصور — إما ResNet (مع استبدال التجميع المتوسط الشامل بتجميع قائم على ) أو محوِّل بصري (ViT). تُختصَر الصورة بأكملها في متجه واحد. أفضل المتغيّرات هو ViT-L/14 الذي يقسم الصورة إلى رُقَع بحجم 14×14 بكسل ويعالجها عبر مُرمِّز ، ثم يستخدم النهائي تضميناً للصورة.

مُرمِّز النصوص — محوِّل قياسي (63 مليون ، 12 طبقة، بعرض 512، و8 رؤوس انتباه) يعمل على نص مُرمَّز بحدٍّ أقصى 76 رمزاً. تنشيط رمز [EOS] النهائي يُستخدَم تضميناً للنص.

يُسقَط ناتج كل مُرمِّز بتحويل خطي إلى ببُعد dd، حيث يصبح هو مقياس جودة التطابق بين أيّ صورة وأيّ نص.

افتح في المختبر
انقر على أي مكوِّن لترى كيف تتدفق الصورة والنص عبر مُرمِّزَي CLIP.
تستيقظ التجربة عند وصولك…

الخسارة التبايُنية: لعبة مطابقة متماثلة

لكل دفعة من NN زوج صورة-نص، يحسب CLIP بأبعاد N×NN \times N تحوي تشابهات جيب التمام بين كل تضمين صورة وكل تضمين نص، مضروبة في مُتعلَّم τ\tau. التطابقات الصحيحة تقع على القُطر الرئيسي. أمّا فهي متوسط حدَّين من :

  • من الصورة إلى النص: لكل صورة (صف في المصفوفة)، النص الصحيح هو الهدف من بين NN مرشَّح.
  • من النص إلى الصورة: لكل نص (عمود في المصفوفة)، الصورة الصحيحة هي الهدف من بين NN مرشَّح.

معامل الحرارة τ\tau قيمة عددية قابلة للتعلُّم (تبدأ عند 0.07) تتحكّم في حدّة التوزيع الاحتمالي أو انبساطه. حين تكون τ\tau صغيرة يصبح النموذج أكثر حسماً — ذُرى حادة على القُطر — وحين تكبر τ\tau يتوزَّع الانتباه بشكل أكثر تساوياً.

L=12N[∑i=1N−log⁡esim(Ii,Ti)/τ∑j=1Nesim(Ii,Tj)/τ+∑i=1N−log⁡esim(Ti,Ii)/τ∑j=1Nesim(Ti,Ij)/τ]\mathcal{L} = \frac{1}{2N} \left[ \sum_{i=1}^{N} -\log \frac{e^{\text{sim}(I_i, T_i)/\tau}}{\sum_{j=1}^{N} e^{\text{sim}(I_i, T_j)/\tau}} + \sum_{i=1}^{N} -\log \frac{e^{\text{sim}(T_i, I_i)/\tau}}{\sum_{j=1}^{N} e^{\text{sim}(T_i, I_j)/\tau}} \right]
خسارة CLIP التبايُنية المتماثلة (InfoNCE) — sim(I,T)‏ = تشابه جيب التمام بين تضمينَي الصورة والنص · τ = معامل الحرارة المُتعلَّم · المجموع الأول يطلب من كل صورة أن تختار نصَّها · المجموع الثاني يطلب من كل نص أن يختار صورته · قُطر مصفوفة التشابه يحمل الإجابات الصحيحة
افتح في المختبر
راقب مصفوفة التشابه وهي تتشكّل أثناء تدريب CLIP. الأزواج الصحيحة (على القُطر) تزداد سطوعاً، والأزواج الخاطئة (خارج القُطر) تزداد عتمةً.
تستيقظ التجربة عند وصولك…

لماذا تتفوّق المطابقة على توليد التعليقات

جرّب المؤلفون ثلاثة أهداف للتدريب:

  1. التوليد التعليقي — يتعلّم النموذج التنبّؤ بالتعليق كلمةً بكلمة (على غرار GPT). هذا يعمل لكنه بطيء جداً لأنّ توليد جمل كاملة يتطلّب خطوات تسلسلية كثيرة.

  2. التنبّؤ بحقيبة الكلمات — تنبَّأ بالكلمات الموجودة في التعليق دون مراعاة ترتيبها. أسرع، لكنه يُضيّع الفوارق الدقيقة في المعنى.

  3. — كل ما على النموذج فعله هو تقرير ما إذا كان زوج الصورة-النص صحيحاً أم لا. تبيّن أنّ هذا الأسلوب أكفأ بأربع مرات من التوليد التعليقي عند . الفكرة الجوهرية هنا: النموذج لا يحتاج أن يولّد لغةً ليفهم الصورة؛ يكفيه أن يميّز التطابقات الصحيحة من الخاطئة.

الأمر يشبه الفرق بين كتابة مراجعة لكتاب وربط مراجعة بكتابها الصحيح — المهمة الثانية أبسط بكثير لكنها تُعلّمك القدر ذاته عن مضمون كل كتاب.

التصنيف بدون أمثلة: حين تصبح اللغة هي الواجهة

بعد انتهاء التدريب المسبق، يستطيع CLIP تصنيف الصور ضمن أيّ مجموعة فئات — دون رؤية مثال مُعنوَن واحد — عبر ثلاث خطوات:

  1. اكتب محفِّزات نصية لكل فئة: «صورة {اسم الفئة}» — مثلاً «صورة كلب» أو «صورة قط» أو «صورة سيارة».

  2. رمِّز كل محفِّز عبر مُرمِّز النصوص للحصول على NN تضمين نصي (واحد لكل فئة).

  3. رمِّز صورة الاختبار عبر مُرمِّز الصور، ثم احسب تشابه جيب التمام مع التضمينات النصية الـ NN جميعها، واختر الفئة ذات أعلى تشابه.

هذا هو النقل بدون أمثلة: النموذج يُنجز مهمة لم يتدرّب عليها صراحةً قطّ. ما يحدث فعلياً هو أنّ مُرمِّز النصوص يُركِّب خطياً فورياً مستخدماً اللغة الطبيعية بوصفها مواصفات التصنيف.

افتح في المختبر
اكتب أي أوصاف للفئات ثم شاهد CLIP يُرتِّبها حسب تطابقها مع الصورة — بدون أي إعادة تدريب.
تستيقظ التجربة عند وصولك…

هندسة المحفِّزات النصية وتجميعها

صياغة وصف الفئة تُحدث فرقاً حقيقياً. استخدام اسم الفئة وحده مثل «كلب» يُعطي أداءً أضعف من «صورة كلب»، والسبب أنّ CLIP تدرّب على تعليقات طبيعية — جمل كاملة — وليس على كلمات مفردة. عدم التوافق بين نصوص التدريب ونصوص الاستدلال يُضعف الأداء، وهذه في جوهرها مشكلة المعروفة في التعلّم الآلي.

يعالج CLIP هذه المشكلة بأسلوب : بدلاً من محفِّز واحد لكل فئة، استخدم عدة صيغ — «صورة {تصنيف} كبير» و«صورة {تصنيف} صغير» و«صورة قمر اصطناعي مركزية لـ{تصنيف}» وهكذا — ثم خُذ متوسط تضميناتها النصية. على ImageNet، حسّن هذا التجميع الدقة بمقدار 3.5 نقطة مئوية مقارنة بالمحفِّز الواحد. المحفِّزات المُصمَّمة للسياق تُساعد أيضاً: في صور الأقمار الاصطناعية مثلاً، «صورة قمر اصطناعي لـ{تصنيف}» تتفوّق على القالب العام.

هذا يكشف أنّ CLIP لا يتعلّم المفاهيم البصرية فحسب — بل يتعلّم العلاقة بين المحتوى البصري واللغة المستخدمة لوصفه. المحفِّز النصي أشبه بمقود القيادة: تعديلات صغيرة في الصياغة قد تُحسِّن النتائج بشكل ملموس.

الفكرة نفسها بالكود

حلقة التدريب التبايُنية لـ CLIP (شبه كود من الورقة)python

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

# I[n] = مخرج مُرمِّز الصور للصورة رقم n
# T[n] = مخرج مُرمِّز النصوص للنص رقم n
# W_i, W_t = إسقاطات خطية مُتعلَّمة
# t = معامل حرارة مُتعلَّم

# الخطوة 1: رمِّز وأسقط إلى الفضاء المشترك
I_e = normalize(I @ W_i, dim=-1)   # (N, d) تضمينات الصور
T_e = normalize(T @ W_t, dim=-1)   # (N, d) تضمينات النصوص

# الخطوة 2: احسب مصفوفة تشابه جيب التمام مُقيَّسة بالحرارة
logits = (I_e @ T_e.T) * np.exp(t)  # (N, N) — العنصر [i,j] = تشابه الصورة i مع النص j

# الخطوة 3: التصنيفات = القُطر (الصورة i تطابق النص i)
labels = np.arange(N)

# الخطوة 4: خسارة الانتروبيا المتقاطعة المتماثلة
loss_i = cross_entropy(logits, labels, axis=1)   # كل صورة تختار نصَّها
loss_t = cross_entropy(logits, labels, axis=0)   # كل نص يختار صورته
loss = (loss_i + loss_t) / 2

# هذه هي إشارة التدريب بالكامل.
# لا مستطيلات إحاطة. لا أقنعة تقطيع. لا تصنيفات فئوية.
# فقط: «هذه الصورة تقترن بهذا النص.»

النتائج: CLIP بدون أمثلة في مواجهة النماذج المُشرَفة

قِيس أداء CLIP في وضع على أكثر من 30 مجموعة بيانات تشمل تصنيف الصور والتعرّف البصري على الأحرف والتعرّف على الأفعال وتحديد المواقع الجغرافية والتعرّف الدقيق على الأشياء. النتيجة الرئيسية: CLIP بدون أمثلة (ViT-L/14) ضاهى دقة ResNet-50 المُدرَّب بإشراف كامل على ImageNet — دون أن يرى صورة تدريب واحدة من ImageNet. على بعض المجموعات المتخصصة كان أداؤه أضعف، لا سيما في التمييزات الدقيقة (كطرازات السيارات وأنواع الزهور) والمهام المجردة (كالعدّ وتقدير المسافات). لكنه تفوّق على النماذج المُشرَفة في مجموعات أخرى — مثل STL-10 وCIFAR-10/100 وعدة معايير للتعرّف على الأفعال.

الاكتشاف الأبرز كان متانة CLIP أمام انزياح التوزيع: على النسخ المُعدَّلة من ImageNet ‏(ImageNet-V2 وImageNet-Sketch وImageNet-A وImageNet-R) حافظ CLIP بدون أمثلة على دقته بشكل أفضل بكثير من النماذج المُشرَفة، مُقلِّصاً الفجوة بين دقة التوزيع الأصلي والمُنزاح بنسبة تصل إلى 75%. السبب أنّ النماذج المُشرَفة أفرطت في التعلّم على توزيع ImageNet المحدّد، بينما CLIP — الذي تدرّب على تنوّع الإنترنت — عمَّم بشكل أفضل.

افتح في المختبر
قارن أداء CLIP بدون أمثلة مقابل ResNet-50 المُشرَف عبر فئات مجموعات البيانات المختلفة.
تستيقظ التجربة عند وصولك…

المسابر الخطية: سمات CLIP من بين الأفضل

التصنيف بدون أمثلة ليس الطريقة الوحيدة للاستفادة من CLIP. يمكنك تجميد مُرمِّز الصور واستخراج تضميناته، ثم تدريب مصنِّف خطي بسيط فوقها — وهذا ما يُسمى . الهدف هو اختبار جودة المُستخرجة بمعزل عن آلية التصنيف بدون أمثلة. أداء المسبار الخطي لـ CLIP نافس أو تجاوز أفضل نماذج (مثل SimCLR وBYOL وMoCo) والنماذج المُشرَفة بالكامل، مع كفاءة حوسبية أعلى لكل نقطة جودة — خاصةً مع بنى ViT التي وجدت الورقة أنها أكفأ حوسبياً بنحو ثلاث مرات من متغيّرات ResNet.

هذا يعني أنّ CLIP لا يوفّر مجرد واجهة ذكية للتصنيف بدون أمثلة — بل يتعلّم تمثيلات بصرية قوية فعلاً تنتقل بكفاءة عالية حتى عبر التقييم الخطي التقليدي.

القيود والاعتبارات الاجتماعية

CLIP ليس مثالياً، والورقة صريحة بشأن عدة قيود:

  • المهام الدقيقة. يواجه CLIP صعوبة في التمييزات التي تحتاج معرفة متخصصة (كطرازات السيارات وأنواع الزهور ودرجات الأورام). فالأوصاف اللغوية قد لا تلتقط السمات البصرية الدقيقة التي يبحث عنها المختصون.

  • المهام المجرّدة والبنيوية. عدّ الأشياء وتقدير المسافات وفهم العلاقات المكانية تبقى صعبة على CLIP. فهو يتعلّم المظهر البصري وليس البنية الهندسية.

  • بيانات الويب. ترث مجموعة WIT انحيازات الإنترنت: نقص في التمثيل الديموغرافي وانحراف ثقافي وارتباطات نمطية بين الصور والنصوص. وجد المؤلفون أنّ مصنّفات CLIP بدون أمثلة قد تعكس انحيازات مجتمعية، لا سيما في تصنيف العِرق والجنس.

  • تحديد المهمة عبر المحفِّزات. يعتمد النقل بدون أمثلة كلّياً على مدى دقة وصفك للمهمة باللغة. بالنسبة للمفاهيم البصرية الجديدة كلّياً — أشياء ليس لها اسم شائع — لا يمتلك CLIP أيّ ميزة على النماذج المُشرَفة.

لماذا كان ذا أهمية بالغة

  1. 2013

    Word2Vec

    أظهرت تضمينات الكلمات أنّ اللغة يمكن إسقاطها في فضاء متجهي متّصل تُرمِّز فيه الهندسة المعنى. CLIP يفعل الشيء ذاته لكن عبر وسائط مختلفة.

  2. 2020

    ViT — محوِّل صافٍ للصور

    أثبت أنّ المحوِّلات قادرة على استبدال الشبكات الالتفافية في مهام الرؤية. ولاحقاً بيّن CLIP أنّ ViT أكفأ حوسبياً بنحو 3 مرات من ResNet كمُرمِّز صور.

  3. 2021

    CLIP وDALL·E — الرؤية تلتقي اللغة

    أُطلقا معاً من OpenAI. يُرمِّز CLIP محاذاة الرؤية مع اللغة، بينما يحوّل DALL·E تلك المحاذاة إلى توليد صور. معاً أطلقا ثورة الذكاء الاصطناعي متعدد الوسائط.

  4. 2022

    Stable Diffusion

    يستخدم مُرمِّز النصوص من CLIP لتوجيه عملية توليد الصور عبر نماذج الانتشار. أصبحت تضمينات CLIP إشارة التوجيه المعيارية في أنظمة تحويل النص إلى صورة.

  5. 2023

    SAM (قطِّع أي شيء)

    مُرمِّزات رؤية على طراز CLIP تُشغِّل التقطيع بمفردات مفتوحة: أشِر إلى أي شيء وصِفه باللغة لتحصل على قناع بدقة البكسل.

  6. 2024

    النماذج اللغوية الكبيرة متعددة الوسائط

    GPT-4V وClaude وGemini — جميعها تستخدم مُرمِّزات رؤية منحدرة من CLIP لمعالجة الصور. فضاء التضمين المشترك الذي ابتكره CLIP هو السبب في قدرة النماذج اللغوية على فهم الصور.

لم يقتصر أثر CLIP على تحقيق نتائج قوية في المعايير القياسية — بل غيَّر طريقة بناء نماذج الرؤية من الأساس. قبل CLIP كانت الرؤية واللغة عالَمَين منفصلَين. بعده أصبح لهما عملة مشتركة: فضاء تضمين مشترك تتجاور فيه الصور والكلمات.

المرجعRadford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark, Krueger, Sutskever. Learning Transferable Visual Models from Natural Language Supervision. ICML, 2021.

مصطلحات هذه الورقة