السَّمْت

Multimodal & Vision2021متوسط12 دقيقة قراءة

ALIGN: توسيع نطاق تعلّم التمثيلات البصرية والبصرية-اللغوية بإشراف نصّي مُشوَّش

ALIGN: Scaling Up Visual and Vision-Language Representation Learning with Noisy Text Supervision

Jia, C. · Yang, Y. · Xia, Y. · Chen, Y.-T. · Parekh, Z. · Pham, H. · Le, Q. V. · Sung, Y. · Li, Z. · Duerig, T. — ICML

المشكلة

حتى عام 2021 كان بناء تمثيلات بصرية قوية يتطلّب مجموعات بيانات مكلفة مُنقَّحة يدوياً مثل ImageNet بصورها الـ 14 مليون التي استغرق تعنونها سنوات. والمجموعات البصرية-اللغوية مثل Conceptual Captions كانت تمرّ بأنابيب تنظيف أثقل — تحليل دلالي وتصفية وموازنة — ما حدّ أحجامها بين 3 و10 ملايين مثال فقط. في المقابل، كان مجال معالجة اللغة الطبيعية قد قطع شوطاً طويلاً في على نصوص الإنترنت الخام بأحجام هائلة دون أي تنقيح. فهل يمكن للرؤية الحاسوبية أن تسلك الطريق نفسه؟ أم أن البيانات المُشوَّشة ستُفسد جودة التمثيلات؟

الإسهام

يُثبت ALIGN أن الحجم يتغلّب على التنقيح. باستخدام أكثر من 1.8 مليار زوج صورة ونصّ بديل (alt-text) مع تصفية بسيطة مبنية على تكرار الكلمات فقط — دون تحليل دلالي أو تعنون بشري — تحقّق بنية المرمِّز المزدوج البسيطة المُدرَّبة بخسارة تبايُنية نتائج تتصدّر المجال على معياريّ Flickr30K وMSCOCO في الاسترجاع، متفوّقةً حتى على نماذج الانتباه المتقاطع المعقدة، مع دقة 76.4% في على ImageNet و88.64% بعد . النتيجة الأهم: عند حجم كافٍ، بيانات مُشوَّشة بأربعة أضعاف العدد فقط تتفوّق بالفعل على بيانات مُنقَّحة بعناية.

الأثر

رسّخ ALIGN نموذج «البيانات المُشوَّشة على نطاق واسع» في مجال التعلّم البصري-اللغوي، وجاء مكمِّلاً لنهج CLIP المتزامن الذي اعتمد على تنقيح البيانات بقوائم مفاهيم مسموح بها. وبتضافرهما أطلقا الحقبة الحديثة من التدريب المسبق البصري-اللغوي القائم على المقارنة التبايُنية. اكتشاف ALIGN بأن النصوص البديلة الخام كافية أثّر مباشرة في ImageBind (ربط ستّ حواس في فضاء واحد) وFlamingo (نماذج لغة بصرية تعمل بأمثلة محدودة)، وفي الاتجاه الأوسع لتدريب النماذج الأساسية على بيانات ويب ضخمة دون تنقيح يدوي.

تخيّل أنك تريد تدريب مُرشد سياحي في المتاحف، وأمامك طريقتان. الطريقة التقليدية: تستعين بمؤرّخي فنون يكتبون وصفاً دقيقاً لكل لوحة — الوصف ممتاز لكنه بطيء جداً، ولن تستطيع تغطية سوى بضعة آلاف لوحة.

طريقة ALIGN: اترك المُرشد يتجوّل في كل معرض في العالم ويقرأ اللافتة المعلّقة بجانب كل عمل فني — بعض اللافتات فيها أخطاء، وبعضها غامض، وبعضها يصف الإطار لا اللوحة نفسها. لكن بعد أن يرى مليار لوحة مع لافتاتها غير المثالية، يبني المرشد حِسّاً قوياً بالربط بين الأعمال الفنية وأوصافها. الكمّ الهائل من التجربة يُعوّض عن الأخطاء المتناثرة هنا وهناك.

هذه هي الفكرة المحورية في ALIGN: لست بحاجة إلى وصف مثالي لكل صورة ما دام لديك عدد كافٍ من الأوصاف غير المثالية.

عنق الزجاجة في البيانات: لماذا لا يتوسّع التنقيح

حتى عام 2021 كانت الوصفة المعتمدة في البصرية واضحة: درِّب النموذج أولاً على مجموعة بيانات كبيرة مُعنونة، ثم اضبطه على المهام اللاحقة عبر الضبط الدقيق. المشكلة أن «مجموعة البيانات الكبيرة المُعنونة» كانت تعني إما ImageNet بأربعة عشر مليون صورة بتصنيفات بشرية مُراجَعة، أو JFT-300M وهي مجموعة داخلية لدى Google بثلاثمئة مليون صورة مُعنونة. وكلتاهما استلزمتا سنوات من العمل البشري.

في المهام البصرية-اللغوية كان الوضع أسوأ. مجموعة Conceptual Captions — المعيار السائد آنذاك — تبدأ بمليارات الأزواج الخام من صور وتعليقات الويب، ثم تُمرَّر عبر أنبوب تنظيف ثقيل: تحليل دلالي، وتنظيف نصي، وتصفية مبنية على محتوى الصور، ومراجعة يدوية للجودة. والنتيجة؟ 3.3 مليون زوج نظيف فقط، أي أن هذا الأنبوب حذف 99.7% من البيانات. الجودة عالية بلا شك، لكن الحجم ضئيل إذا قارنته بما تستهلكه نماذج اللغة.

هنا يطرح ALIGN سؤالاً جريئاً: ماذا لو تخطّينا التنظيف تقريباً واستخدمنا البيانات المُشوَّشة كما هي؟ الفرضية بسيطة: عند حجم كافٍ، الإشارة المفيدة في مليارات الأزواج غير المثالية تطغى على التشويش وتتلاشى آثاره.

افتح في المختبر
اسحب المنزلق لترى كيف تلحق البيانات المُشوَّشة المتزايدة بالمجموعات المُنقَّحة الأصغر ثم تتجاوزها. مبني على الجدول 10 من الورقة.
تستيقظ التجربة عند وصولك…

ينطلق ALIGN من النصوص البديلة الخام (alt-text) بالإنجليزية، وهي النصوص التي يضعها مطوّرو المواقع في خاصية alt لوسم <img>. هذه النصوص في الغالب مُشوَّشة: عبارات عامة مثل "thumbnail"، أو أسماء ملفات مثل "IMG_2847.jpg"، أو أوصاف تتحدّث عن إطار الصورة لا عن محتواها. التصفية التي تُجريها الورقة بسيطة للغاية: حذف الصور الأصغر من 200 بكسل، واستبعاد النصوص المشتركة بين أكثر من 10 صور، وحذف النصوص التي تحتوي رموزاً نادرة، واستبعاد ما هو أقصر من 3 كلمات أو أطول من 20 كلمة. لا تحليل دلالي ولا مراجعة بشرية. المحصّلة: 1.8 مليار زوج صورة-نص، أي نحو 600 ضعف حجم Conceptual Captions.

البنية: أبسط تصميم يمكن أن ينجح

يعتمد ALIGN على بنية — وهي بنية بسيطة عن قصد. الفكرة أن هناك مستقلَّين، كلٌّ منهما يعمل بمعزل عن الآخر دون أن يطّلع على مدخلاته:

: شبكة EfficientNet (حتى المتغيّر L2) يليها . السمات المُجمَّعة تمرّ عبر إسقاط خطي لإنتاج ثابت الحجم. لا سمات مناطقية، ولا كاشفات أجسام، ولا انتباه على رقع — مجرّد الصورة كاملةً مضغوطة في متجه واحد.

: نموذج BERT (حتى النسخة الكبيرة) بمفردات wordpiece من مئة ألف رمز مُولَّدة من بيانات التدريب. تضمين رمز [CLS] يمرّ عبر طبقة خطية ليتطابق بُعده مع بُعد تضمين الصورة.

بعد ذلك يُقيَّس كلا التضمينين بمعيار L2 ويُسقطان في مشترك. المطابقة تتمّ عبر . ما يميّز هذه البنية أنها أسرع بمراتب في الاسترجاع من نماذج مثل UNITER أو ViLBERT، لأن كل صورة وكل نص يُرمَّز على حدة ثم تكفي عملية جداء نقطي واحدة للمقارنة.

افتح في المختبر
استكشف بنية المرمِّز المزدوج. انقر على أيّ مكوّن لمعرفة دوره في خط معالجة ALIGN.
تستيقظ التجربة عند وصولك…

الهدف التبايُني: التعلّم بالمقارنة

هدف التدريب في ALIGN أنيق في بساطته. الفكرة كالتالي: عند كل دُفعة تحتوي N من أزواج الصورة-النص، يُعامَل كل زوج متطابق كمثال إيجابي، بينما تُعامَل جميع التوليفات الـ N−1 الأخرى كأمثلة سلبية. ثم تُحسب متماثلتان:

صورة ← نص: لكل صورة، حدِّد أيّ نص من النصوص الـ N هو النص المطابق لها. نص ← صورة: لكل نص، حدِّد أيّ صورة من الصور الـ N هي الصورة التي يصفها.

تخيّل الأمر كقاعة فيها N شخص، كلّ واحد يحمل صورة في يد وتعليقاً في اليد الأخرى. مهمة الجميع أن يجد صاحب التعليق المطابق لصورته، والعكس. كلّما زاد عدد الأشخاص في القاعة (أي كلّما كبر )، صعبت المهمة وخرجت التمثيلات المُتعلَّمة أقوى.

Li2t=−1N∑i=1Nlog⁡exp⁡ ⁣(xi⊤yi/σ)∑j=1Nexp⁡ ⁣(xi⊤yj/σ)\mathcal{L}_{i2t} = -\frac{1}{N} \sum_{i=1}^{N} \log \frac{\exp\!\bigl(\mathbf{x}_i^\top \mathbf{y}_i / \sigma\bigr)} {\sum_{j=1}^{N} \exp\!\bigl(\mathbf{x}_i^\top \mathbf{y}_j / \sigma\bigr)}
الخسارة التبايُنية من الصورة إلى النص — لكل تضمين صورة xᵢ نريد أن يكون أقرب ما يمكن لتضمين النص المطابق له yᵢ وأبعد ما يمكن عن بقية تضمينات النصوص yⱼ. مُعامل الحرارة σ يتحكّم في حدّة التمييز بين المتطابق وغير المتطابق — وهو مُعامل مُتعلَّم يُحسَّن مع باقي الأوزان.
Lt2i=−1N∑i=1Nlog⁡exp⁡ ⁣(yi⊤xi/σ)∑j=1Nexp⁡ ⁣(yi⊤xj/σ)\mathcal{L}_{t2i} = -\frac{1}{N} \sum_{i=1}^{N} \log \frac{\exp\!\bigl(\mathbf{y}_i^\top \mathbf{x}_i / \sigma\bigr)} {\sum_{j=1}^{N} \exp\!\bigl(\mathbf{y}_i^\top \mathbf{x}_j / \sigma\bigr)}
الخسارة التبايُنية من النص إلى الصورة — هذه هي الخسارة في الاتجاه المعاكس: لكل تضمين نص yᵢ نريد تقريبه من صورته المطابقة xᵢ. الخسارة الإجمالية هي مجموع الاتجاهين معاً، وهذا التماثل يضمن أن كلا المرمِّزَين يُحسَّنان بالقدر نفسه.
افتح في المختبر
مرِّر المؤشر على الخلايا لترى كيف تدفع الخسارة التبايُنية الأزواج على القُطر (المتطابقة) نحو بعضها، وتُبعد الأزواج خارج القُطر (غير المتطابقة).
تستيقظ التجربة عند وصولك…

من أهم تفاصيل التدريب هنا هو حجم الدُفعة. يستخدم ALIGN دُفعة ضخمة من 16,384 زوجاً موزّعة على 1,024 نواة TPUv3 (16 زوجاً لكل نواة). تُجمع التضمينات من جميع الأنوية لتشكيل الدُفعة الكاملة التي تُحسب عليها الخسارة التبايُنية. الأثر العملي لهذا الحجم أن كل صورة تُقارَن بـ 16,383 نصّاً سلبياً — وهذا يجعل مسألة التصنيف أصعب بكثير ويدفع المرمِّزَين لتعلّم تمثيلات أكثر تمييزاً.

المُتعلَّمة σ تستقرّ عند قيمة قريبة من 1/64. كلّما صغرت الحرارة زادت حدّة توزيع softmax وأصبح النموذج أدقّ في التمييز. وتستخدم الورقة أيضاً بقيمة 0.1 على خسائر softmax، وهو أسلوب يمنع النموذج من الثقة المفرطة في قراراته ويساعده في التعامل مع التسميات المُشوَّشة.

التوسيع: بيانات أكبر، نماذج أكبر، نتائج أفضل

تكشف عن أنماط توسيع واضحة ومنتظمة. جرّبت الورقة مرمِّزات صور تتدرّج من EfficientNet-B1 حتى L2، ومرمِّزات نصوص من BERT-Mini حتى BERT-Large. والنتائج تتحسّن بسلاسة على كلا المحورين دون أي علامات على تناقص العوائد أو انهيار الأداء.

في مهام الرؤية وحدها كتصنيف ImageNet بطريقة KNN، يكون حجم مرمِّز الصورة هو العامل الحاسم: حتى مع BERT-Mini كمرمِّز نصي، يتفوّق EfficientNet-L2 على B7 مقترناً بـ BERT-Large. أما في المهام التي تتقاطع فيها الحواس مثل ، فكلا المرمِّزَين مهمّ بالقدر نفسه. وهذا منطقي: لاسترجاع التعليق الصحيح لا بدّ من فهم محتوى الصورة ودقة الصياغة اللغوية معاً.

بُعد التضمين مهمّ أيضاً. الانتقال من 80 إلى 640 بُعداً يُحسّن الأداء باطّراد، لذا ترك النموذج النهائي هذا البُعد يكبر مع للشبكة (المتغيّر L2 يستخدم تضمينات بـ 1,376 بُعداً). وعدد الأمثلة السلبية داخل الدُفعة لا يقلّ أهمية — فاستخدام 25% فقط من الدُفعة كأمثلة سلبية يُخفض R@1 في الاسترجاع بنحو 3 نقاط.

افتح في المختبر
بدِّل بين أحجام مرمِّز الصورة ومرمِّز النص لترى كيف يتغيّر أداء الاسترجاع والتصنيف. البيانات من الشكل 3 في الورقة.
تستيقظ التجربة عند وصولك…

النقل بدون أمثلة والمهام اللاحقة

بمجرد أن يتعلّم النموذج فضاء التضمين المشترك، يصبح التصنيف بدون أمثلة عملية مباشرة. لتصنيف صورة في واحدة من K فئة، كل ما تحتاجه هو تمرير اسم كل فئة عبر مرمِّز النص (مثلاً "A photo of a dog")، ثم حساب تشابه جيب التمام بين تضمين كل فئة وتضمين الصورة، واختيار الفئة ذات التشابه الأعلى. لا حاجة لأيّ تدريب على المهمة المستهدفة.

يحقق ALIGN دقة 76.4% على المرتبة الأولى بدون أمثلة على ImageNet — وهي نتيجة مقاربة لـ 76.2% التي حققها CLIP رغم أن بيانات ALIGN أكثر تشويشاً بكثير. والأمر اللافت أنه على ImageNet-R (صور غير طبيعية كالرسوم والاسكتشات) يصل ALIGN إلى 92.2% مقابل 88.9% لـ CLIP، ما يُلمّح إلى أن التدريب على بيانات مُشوَّشة قد يعزّز فعلياً متانة النموذج أمام التحوّلات في توزيع البيانات.

في الاسترجاع، يسجّل ALIGN أرقاماً قياسية جديدة على Flickr30K وMSCOCO معاً، متفوّقاً حتى على نماذج الانتباه المتقاطع الأبطأ بمراتب. وبعد الضبط الدقيق يصل إلى 95.3% R@1 في استرجاع النص من الصورة على Flickr30K — قفزة تتجاوز 7 نقاط عن أفضل نتيجة سابقة.

افتح في المختبر
شاهد آلية التصنيف بدون أمثلة: أسماء الفئات تتحوّل إلى تضمينات نصية، وتُطابَق الصورة مع أقرب فئة عبر تشابه جيب التمام.
تستيقظ التجربة عند وصولك…

التركيبية الناشئة: البحث بالصورة والنص معاً

من أكثر خصائص فضاء التضمين في ALIGN إثارة هي . بما أن الصور والنصوص تقع في فضاء متجهات واحد، يمكنك جمع أو طرح تضمينات نصية من تضمينات بصرية لتعديل الاستعلام دلالياً.

مثلاً، تريد إيجاد صور لـ «باندا في أستراليا»؟ خذ تضمين صورة باندا، أضف إليه تضمين النص "Australia"، واسترجع أقرب الصور. ستجد في النتائج حيوانات شبيهة بالكوالا في مناظر أسترالية — أي أن فضاء التضمين تعلّم تركيب المفاهيم البصرية واللغوية جبرياً، كما في تشابهات word2vec الشهيرة ("king − man + woman = queen") لكن عبر حواسّ مختلفة.

ويمكنك أيضاً طرح مفاهيم: خذ مشهد شارع مزدحم واطرح منه "cars"، وستحصل على شوارع مشابهة لكن بلا سيارات. هذه القدرة لم تُدرَّب عليها الشبكة صراحةً — بل ظهرت تلقائياً كنتيجة طبيعية لتطبيق على هذا الحجم الهائل من البيانات.

التوسعة متعددة اللغات

لأن أنبوب بيانات ALIGN لا يعتمد على مرشّحات خاصة بلغة بعينها فيما عدا معالجة نصية أساسية، فتوسيعه للغات أخرى عملية سلسة. الورقة ترفع قيد الاقتصار على الإنجليزية، وتجمع 1.8 مليار زوج صورة-نص متعدد اللغات يغطي أكثر من مئة لغة، ثم تبني مفردات wordpiece من 250 ألف رمز وتُدرِّب النسخة متعددة اللغات ALIGN_mling بالبنية والمعاملات الفائقة نفسها.

على معيار Multi30K (وهو معيار استرجاع صورة-نص متعدد اللغات يشمل الإنجليزية والألمانية والفرنسية والتشيكية)، يتفوّق ALIGN_mling بدون أمثلة على نموذج M3P المُضبوط دقيقاً، وذلك في الإنجليزية والألمانية والفرنسية. أكبر قفزة كانت +57.8 نقطة في متوسط الاستدعاء على الفرنسية — وهي لغة عانت فيها النماذج المتخصصة متعددة اللغات. هذا يؤكد أن فلسفة «الحجم فوق التنقيح» تنتقل عبر اللغات بأقل جهد هندسي ممكن.

وصفة التدريب

يُدرَّب ALIGN من الصفر — أي بدون أوزان مُدرَّبة مسبقاً لأيّ من المرمِّزَين — باستخدام مُحسِّن LAMB مع بقيمة 1e−5. يرتفع خطياً حتى يصل 1e−3 خلال أول 10 آلاف خطوة، ثم يتناقص خطياً إلى الصفر على مدى 1.2 مليون خطوة (نحو 12 حقبة تدريبية). الصور تُعاد إلى مقاس 346×346 ثم تُقتطع عشوائياً بمقاس 289×289 أثناء التدريب، وبقطع مركزي أثناء التقييم.

مرمِّز النص يقبل حتى 64 رمز wordpiece كحد أقصى، وهذا كافٍ لأن النصوص البديلة لا تتجاوز 20 كلمة أصلاً. حرارة softmax تُهيَّأ عند 1.0 ثم تُتعلَّم ذاتياً أثناء التدريب. ويُطبَّق تنعيم التسميات بقيمة 0.1 على كلتا الخسارتين التبايُنيتين.

عند الضبط الدقيق على معايير الاسترجاع، يُخفَّض حجم الدُفعة من 16,384 إلى 2,048 لتفادي الأمثلة السلبية الكاذبة — ففي المجموعات الصغيرة قد يتصادف أن يكون زوجان عشوائيان متطابقين فعلاً. ينخفض معدّل التعلّم إلى 1e−5 ويُضبط النموذج لمدة تتراوح بين 3 و6 آلاف خطوة بحسب حجم المجموعة.

شفرة توضيحية: حلقة التدريب التبايُني لـ ALIGNpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

# حلقة تدريب ALIGN (شفرة توضيحية مبسَّطة)
for images, texts in dataloader:  # دُفعة من N=16384 زوجاً
    # ترميز كلتا الحاستين
    img_emb = l2_normalize(image_encoder(images))    # [N, D]
    txt_emb = l2_normalize(text_encoder(texts))      # [N, D]

    # مصفوفة تشابه جيب التمام مُقيَّسة بالحرارة المُتعلَّمة
    logits = img_emb @ txt_emb.T / sigma             # [N, N]

    # التسميات: القُطر = التطابقات (الفهرس i يطابق i)
    labels = arange(N)

    # خسارة تبايُنية متماثلة مع تنعيم التسميات
    loss_i2t = cross_entropy(logits, labels, smoothing=0.1)
    loss_t2i = cross_entropy(logits.T, labels, smoothing=0.1)
    loss = (loss_i2t + loss_t2i) / 2

    loss.backward()
    optimizer.step()  # مُحسِّن LAMB

الإرث والطريق إلى الأمام

  1. 2013

    DeViSE — التضمينات البصرية-الدلالية

    تعلّم فروم وآخرون إسقاط الصور في فضاء word2vec. كان مرمِّزاً مزدوجاً مبكّراً قادراً على التعرّف بدون أمثلة، لكنه تدرّب على تسميات ImageNet لا على نصوص حرّة.

  2. 2018

    Conceptual Captions — بيانات صورة-نص مُنقَّحة

    بنى شارما وآخرون مجموعة من 3.3 مليون زوج صورة-تعليق من النصوص البديلة على الويب عبر تصفية مكثّفة وتحليل دلالي. الجودة ممتازة، لكن الأنبوب أهدر 99.7% من البيانات الخام.

  3. 2021

    CLIP — تعلّم تبايُني ببيانات مُنقَّحة

    جمع رادفورد وآخرون 400 مليون زوج صورة-نص بالاعتماد على قائمة مفاهيم مسموحة من ويكيبيديا. مرمِّز مزدوج بخسارة تبايُنية حقق 76.2% على ImageNet بدون أمثلة. هذا هو نهج البيانات المُنقَّحة.

  4. 2021

    ALIGN — بيانات مُشوَّشة على نطاق ضخم

    تخطّى جيا وآخرون مرحلة التنقيح واستخدموا 1.8 مليار زوج نص بديل مُشوَّش، فطابقوا دقة CLIP بدون أمثلة (76.4%) وسجّلوا أرقاماً قياسية جديدة في الاسترجاع. برهان عملي على أن الحجم يعوّض عن التشويش.

  5. 2022

    Flamingo — نماذج لغة بصرية بأمثلة قليلة

    بنى آلايراك وآخرون على مرمِّزات من نمط CLIP/ALIGN لبناء نموذج قادر على الاستدلال البصري بأمثلة محدودة باستخدام محفّزات تتخلّلها صور ونصوص. وبذلك وسّعوا الأساس التبايُني نحو مهام التوليد.

  6. 2023

    ImageBind — ربط ستّ حواس في فضاء واحد

    وسّع غيردهار وآخرون فكرة المحاذاة التبايُنية لتشمل ست حواس (صورة ونص وصوت وعمق وحراري ووحدة قياس بالقصور الذاتي). اكتشاف ALIGN بأن البيانات المُشوَّشة المقترنة كافية هو ما جعل هذا التعميم متعدد الحواس ممكناً عملياً.

ما يبقى من ALIGN ليس مجرد نموذج بل مبدأ: لا تحتاج إلى تنظيف بياناتك إن كان لديك ما يكفي منها. هذه الفلسفة غيّرت طريقة تفكير المجال في جمع بيانات التدريب. قبل ALIGN كان تنقيح البيانات يُعدّ شرطاً أساسياً للوصول إلى جودة مقبولة. بعد ALIGN، بدأ الباحثون يتقبّلون البيانات المُشوَّشة بحجم الويب كبديل عملي — وأحياناً أفضل من البديل المُنقَّح. وهذا الاتجاه مستمر اليوم في النماذج الكبيرة متعددة الحواس التي تتدرّب على مليارات الأزواج غير المُنقَّحة من الويب المفتوح.

المرجعJia, Yang, Xia, Chen, Parekh, Pham, Le, Sung, Li, Duerig. Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision. ICML, 2021.

مصطلحات هذه الورقة