السَّمْت

الذكاء متعدد الوسائط2023متوسط11 دقيقة قراءة

ImageBind: فضاء تضمين واحد يربط كل الأنماط

ImageBind: One Embedding Space to Bind Them All

Girdhar, R. · El-Nouby, A. · Liu, Z. · Singh, M. · Alwala, K.V. · Joulin, A. · Misra, I. — CVPR

المشكلة

بحلول عام 2023 كان الذكاء الاصطناعي متعدد الأنماط قد حقّق تقدماً كبيراً — CLIP حاذى الصور والنصوص، وAudioCLIP أضاف الصوت — لكن كل نموذج كان يتعامل مع نمطين فقط في المرة الواحدة. التوسّع إلى ست أنماط (صور، نصوص، صوت، عمق، حرارة، وحدة قياس بالقصور الذاتي) بدا وكأنه يتطلب بيانات مُقترنة لكل تركيبة ممكنة: 15 زوجاً لست أنماط. وجمع هذه البيانات على نطاق واسع أمر شبه مستحيل — أين تجد ملايين العيّنات التي تحمل في الوقت نفسه تعليقات توضيحية للصورة والصوت والعمق والحرارة ومستشعرات الحركة؟

الإسهام

يُثبت ImageBind أن البيانات المُقترنة بالصورة فقط تكفي لربط ست أنماط في فضاء واحد. باستخدام الصور كنمط مرجعي وتحاذي كل نمط من الأنماط الخمسة الأخرى مع مرمِّز الصورة عبر التعلّم التبايُني ()، تظهر محاذاة تلقائية بين أنماط لم تُقترن أبداً أثناء . حقّق النموذج أفضل النتائج في مهام التعرّف الناشئة بدون أمثلة عبر جميع الأنماط، متفوقاً على نماذج متخصصة مُدرَّبة بإشراف، وأتاح تطبيقات جديدة مثل الاسترجاع عبر الأنماط والحساب الحسابي على التضمينات وتوليد الصور من الصوت — كل ذلك بدون تدريب خاص بالمهمة.

الأثر

أثبت ImageBind أن الصور تصلح لتكون النمط الرابط الطبيعي للبيانات الحسّية، وأن المحاذاة الناشئة خاصية قابلة للتوسيع — فكلما قوي مرمِّز الصورة تحسّن النقل عبر الأنماط. ألهم النموذج مشاريع لاحقة مثل LanguageBind وPointBind وImageBind-LLM، وأظهر طريقاً نحو نماذج متعددة الأنماط شاملة حقاً. والحساب الحسابي على التضمينات — كجمع تضمين الصوت مع تضمين الصورة لتركيب مفاهيم جديدة — أعطى لمحة عن مستقبل تدمج فيه أنظمة الذكاء الاصطناعي الحواسّ كما يفعل البشر.

تخيّل قاعة اجتماعات فيها ستة مندوبين، كلّ واحد يتكلم لغة مختلفة: المرئي، والصوتي، والنصي، والعمقي، والحراري، والحركي. لو أردت مترجماً لكل زوج منهم، ستحتاج 15 مترجماً — تكلفة باهظة وأمر غير عملي.

لكنك تلاحظ شيئاً ذكياً: كل مندوب يفهم قليلاً من لغة المرئي. مندوب الصوت يتعامل مع تمثيلات طيفية تُشبه الصور، ومندوب العمق يُنتج خرائط تبدو كصور فوتوغرافية. فتقرر توظيف مترجم واحد فقط — المرئي — وتطلب من كل مندوب أن يتعلّم التواصل عبره.

المفاجأة: بعد فترة، يكتشف مندوب الصوت ومندوب النص أنهما يفهمان بعضهما مباشرةً — رغم أنهما لم يتحدّثا معاً من قبل. المترجم المشترك صنع لغة موحّدة ورثها الجميع دون قصد. هذا بالضبط ما يفعله ImageBind.

الفكرة الجوهرية: الصور تربط كل شيء

قبل ImageBind، كانت النماذج مثل CLIP تربط نمطين فقط: الصور والنصوص. لو أردت إضافة الصوت، تحتاج بيانات مُقترنة (صوت، نص). ولو أردت العمق، تحتاج بيانات (عمق، نص). كل نمط جديد يفرض عليك جمع بيانات مُقترنة مع كل نمط موجود — وهذا انفجار تركيبي سريعاً ما يخرج عن السيطرة.

الفكرة المحورية في ImageBind بسيطة وأنيقة: الصور هي النمط الرابط الطبيعي. لماذا؟ لأن الصور في العالم الفيزيائي تتواجد تلقائياً مع كل إشارة حسّية تقريباً: الصور تأتي مع تعليقات نصية (صورة-نص)، والفيديو يأتي مع صوت (صورة-صوت)، وكاميرات RGB تلتقط خرائط العمق بالتوازي (صورة-عمق)، والكاميرات الحرارية تصوّر المشاهد ذاتها (صورة-حرارة)، والأجهزة القابلة للارتداء تسجّل الحركة مع الفيديو (صورة-IMU).

عندما نُحاذي كل نمط مع الصور فقط — عبر — تنصهر فضاءات التضمين الستة في فضاء واحد مشترك. والسحر هنا في خاصية التعدّي: إذا كان الصوت قريباً من الصور، والنص قريباً من الصور، فحُكماً سينتهي الصوت والنص قريبَين من بعضهما — دون أن ندرّب النموذج على ذلك صراحةً. هذا ما نسمّيه المحاذاة الناشئة.

افتح في المختبر
انقر على أي نمط لترى كيف يتحاذى مع مرتكز الصورة. الخطوط المتقطعة تُظهر الروابط الناشئة التي لم تُدرَّب مباشرة.
تستيقظ التجربة عند وصولك…

البنية: ستة مرمِّزات وفضاء واحد مشترك

يخصّص ImageBind مستقلاً لكل نمط، وجميعها مبنية على بنية . إليك التفاصيل التصميمية لكل نمط:

  • الصور/الفيديو: ضخم (ViT-H) مأخوذ من OpenCLIP ومُجمَّد الأوزان. الفيديو يُعامَل كصور مُمتدّة زمنياً — مقطعان من إطارين مع إسقاط رُقع زمنية. مُرمِّزا الصورة والنص يبقيان مُجمَّدَين من CLIP حتى لا نفقد المحاذاة القوية التي تعلّماها سابقاً.
  • النص: مُرمِّز نص OpenCLIP نفسه، مُجمَّد بدون أي تعديل.
  • الصوت: كل مقطع صوتي (ثانيتان) يُحوَّل أولاً إلى (128 حزمة)، ثم يُعامَل كأنه صورة ثنائية الأبعاد ويُمرَّر إلى ViT-B. هذا التحويل هو ما يجعل الربط بنمط الصورة طبيعياً جداً — التمثيل الطيفي يبدو بصرياً كصورة فعلاً.
  • العمق: خرائط التفاوت (معكوس العمق) تُحوَّل إلى صور أحادية القناة وتُدخَل إلى ViT-S. استخدام التفاوت بدل العمق الخام يمنح النموذج ثباتاً أمام تغيُّر المقياس.
  • الحرارة: صور حرارية أحادية القناة تُمرَّر كذلك إلى ViT-S.
  • وحدة القياس بالقصور الذاتي (IMU): مقاطع بطول 5 ثوانٍ من بيانات مقياس التسارع والجيروسكوب (6 قنوات × 2000 عيّنة) تُعالَج أولاً بالتفاف أحادي البُعد (حجم النواة 8) لتحويلها إلى سلسلة رموز، ثم يتولّى مُحوِّل معالجتها.

الآلية النهائية واحدة لكل الأنماط: كل مُرمِّز يُخرج متجه سمات من الخاص به، ثم يمرّ هذا المتجه عبر خطي خاص بالنمط ليصل إلى تضمين مشترك بأبعاد d. قبل حساب الخسارة، يُطبَّع كل تضمين بمعيار L2 لضمان وقوع جميع المتجهات على سطح كرة وحدوية.

افتح في المختبر
انقر على كل نمط لترى بنية مرمِّزه وكيف يُسقَط في فضاء التضمين المشترك.
تستيقظ التجربة عند وصولك…

التدريب: خسارة InfoNCE التبايُنية

يعتمد ImageBind في تدريبه على خسارة InfoNCE — وهي من عائلة التعلّم التبايُني ذاتها التي يستخدمها CLIP. المبدأ بسيط: أعطِ النموذج دُفعة من الأزواج (صورة + نمط آخر)، واجعله يتعلّم تقريب الأزواج المتطابقة في وإبعاد غير المتطابقة عن بعضها.

بشكل أدق: لنأخذ دُفعة من NN زوج (Ii,Mi)(I_i, M_i)، حيث II صورة وMM نمط آخر (صوت أو عمق مثلاً). نرمز بـ qiq_i لتضمين الصورة المُطبَّع، وبـ kik_i لتضمين عيّنة النمط المقابلة. الخسارة تتكوّن من حدّين متماثلين — واحد يسأل «هل تتعرّف الصورة على شريكها؟» والآخر يسأل العكس:

LI→M=−1N∑i=1Nlog⁡exp⁡(sim(qi,ki)/τ)∑j=1Nexp⁡(sim(qi,kj)/τ)\mathcal{L}_{I \to M} = -\frac{1}{N} \sum_{i=1}^{N} \log \frac{\exp\bigl(\text{sim}(q_i, k_i) / \tau\bigr)} {\sum_{j=1}^{N} \exp\bigl(\text{sim}(q_i, k_j) / \tau\bigr)}
خسارة InfoNCE — من الصورة إلى النمط — لكل صورة qiq_i، تعظّم الخسارة تشابهها مع تضمين النمط المطابق kik_i نسبةً إلى جميع تضمينات الأنماط الأخرى kjk_j في الدُّفعة. تتحكم درجة الحرارة τ\tau (قابلة للتعلّم) في حدّة التوزيع. الخسارة الإجمالية هي متوسط الاتجاهين: L=(LI→M+LM→I)/2\mathcal{L} = (\mathcal{L}_{I \to M} + \mathcal{L}_{M \to I}) / 2.

فكّر في الأمر كلعبة مطابقة: كل صورة تبحث عن شريكها الصحيح بين جميع المقاطع الصوتية (أو خرائط العمق) في الدُّفعة. كلّما أخطأ النموذج وأعطى تشابهاً أعلى للشريك الخطأ، عاقبته الخسارة. وبعد ملايين الدُّفعات، يتعلّم النموذج وضع كل زوج متطابق في النقطة نفسها من فضاء التضمين، وإبعاد كل ما عداه.

نقطة تصميمية دقيقة تستحق الانتباه: كل دُفعة تحوي أزواجاً من نمط واحد فقط غير الصورة. دُفعة كاملة من أزواج (صورة، صوت)، أو دُفعة كاملة من أزواج (صورة، عمق)، لكن لا خلط بينهما. مُرمِّز الصورة يرى كل الدُّفعات من كل الأنماط، بينما مُرمِّز كل نمط آخر لا يرى إلا دُفعاته هو. وبما أن مُرمِّز الصورة هو العنصر المشترك في كل عملية تدريب، يتحوّل تلقائياً إلى المحور الذي تلتقي عنده كل الأنماط — تماماً كمحور العجلة الذي تتّصل به كل الأذرع.

افتح في المختبر
اسحب أزواج الصورة-الصوت إلى مستوى التضمين. لاحظ كيف تتجاذب الأزواج المتطابقة وتتنافر غير المتطابقة، فيتشكّل الفضاء المشترك أمامك.
تستيقظ التجربة عند وصولك…

المحاذاة الناشئة: المكسب المجّاني

أكثر نتائج الورقة إثارةً هي ما يمكن تسميته التصنيف الناشئ . النموذج لم يرَ أبداً أزواجاً من (صوت، نص) أثناء التدريب — ومع ذلك يستطيع تصنيف مقاطع صوتية باستخدام تعليمات نصية، محققاً 66.9% على معيار ESC ومتفوقاً على AudioCLIP الذي دُرِّب فعلاً على بيانات صوت-نص مُقترنة.

كيف يحصل هذا؟ المنطق بسيط: تضمينات الصوت مُحاذاة لتضمينات الصورة، وتضمينات الصورة مُحاذاة أصلاً لتضمينات النص بفضل CLIP. إذن بالتعدّي، ينتهي الصوت والنص في المنطقة ذاتها من الفضاء المشترك. الصورة تلعب دور الجسر — وهذا الجسر متين بما يكفي لإتاحة دون أي تدريب مباشر بين الصوت والنص.

والأجمل أن هذه الخاصية لا تقتصر على الصوت والنص — بل تسري على كل الأزواج: عمق-نص، حرارة-نص، IMU-نص. أي نمطين يمكنهما التواصل عبر الفضاء المشترك حتى لو لم يلتقيا قط أثناء التدريب. ولاحظ الباحثون أمراً مهماً: كلما كان مُرمِّز الصورة أقوى، كانت المحاذاة الناشئة أفضل. هذا يؤكد أن مرتكز الصورة هو العامل الحاسم — استثمر فيه وتتحسّن كل الأنماط الأخرى تبعاً لذلك.

افتح في المختبر
الأنماط التي دُرّبت فقط مع الصور تكتشف روابط بينها. بدّل بين أزواج الأنماط لترى المحاذاة المباشرة مقابل الناشئة.
تستيقظ التجربة عند وصولك…

حساب التضمينات: تركيب الحواسّ

بما أن كل الأنماط تعيش في واحد، يمكنك التعامل مع التضمينات كأرقام تُجمع وتُطرح. خذ مثلاً: تضمين مقطع صوتي لـطائر يغرّد + تضمين صورة غابة = تضمين مُركَّب يسترجع صور طيور في غابات. وبالمثل: صورة طريق سريع − صوت محرك سيارة = طرق فارغة.

الفكرة مشابهة للحساب الشهير على في Word2Vec (ملك − رجل + امرأة = ملكة)، لكنها هنا تعمل عبر حواسّ مختلفة. السبب أن الفضاء المشترك يحفظ العلاقات الدلالية: المفاهيم المتشابهة تتجمّع معاً بصرف النظر عن الحاسّة التي التقطتها.

والأمر لا يتوقف عند الاسترجاع. تعرض الورقة تطبيقاً أبعد: توليد صور من الصوت مباشرةً. كيف؟ بإدخال تضمينات الصوت إلى فاكّ ترميز DALL·E 2 (المُصمَّم أصلاً لتلقّي تضمينات نص CLIP). صوت نباح يُنتج صورة كلب، وصوت مطر يُنتج مناظر ممطرة — قدرة لم يتدرّب عليها النموذج قط. فضاء التضمين المشترك هو ما يجعل هذا ممكناً بدون أي تدريب إضافي.

افتح في المختبر
اجمع تضمينات من أنماط مختلفة واطرحها. شاهد كيف يسترجع التضمين الناتج صوراً ذات صلة.
تستيقظ التجربة عند وصولك…

الفكرة في الكود

التدريب التبايُني في ImageBind — الحلقة الأساسية مبسّطةpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import torch
import torch.nn.functional as F

def imagebind_loss(img_embeddings, mod_embeddings, temperature):
    """خسارة InfoNCE متماثلة لدُفعة واحدة (صورة، نمط).

    img_embeddings: (N, d) — تضمينات صور مُطبَّعة بـ L2
    mod_embeddings: (N, d) — تضمينات النمط مُطبَّعة بـ L2
    temperature:    قيمة عددية قابلة للتعلّم تتحكم في حدّة التوزيع
    """
    # مصفوفة التشابه بجيب التمام: (N, N)
    logits = (img_embeddings @ mod_embeddings.T) / temperature

    # الحقيقة الأرضية: القطر هو الزوج المتطابق
    labels = torch.arange(logits.shape[0], device=logits.device)

    # إنتروبيا تقاطعية متماثلة: صورة→نمط + نمط→صورة
    loss_i2m = F.cross_entropy(logits, labels)
    loss_m2i = F.cross_entropy(logits.T, labels)

    return (loss_i2m + loss_m2i) / 2

# رسم تخطيطي لحلقة التدريب:
# 1. اسحب دُفعة من أزواج (صورة، صوت) — أو (صورة، عمق)، إلخ
# 2. رمِّز الصور بـ ViT-H المُجمَّد  → q = project(encoder_img(images))
# 3. رمِّز النمط بالمرمِّز القابل للتدريب → k = project(encoder_mod(data))
# 4. طبِّع q و k بمقياس L2
# 5. احسب imagebind_loss(q, k, tau)
# 6. الانتشار العكسي يُحدّث فقط مرمِّز النمط + رؤوس الإسقاط
#    (مرمِّزا الصورة والنص يبقيان مُجمَّدين من CLIP)

النتائج: الناشئ يتفوّق على المتخصّص

ما يلفت الانتباه حقاً هو أن أداء ImageBind الناشئ بدون أمثلة يتفوّق على نماذج دُرِّبت خصيصاً لكل مهمة على حدة:

  • تصنيف الصوت (ESC): 66.9% — أعلى من AudioCLIP الذي دُرِّب فعلاً على بيانات صوت-نص مُقترنة.
  • تصنيف العمق (NYU-D): 54.0% — متجاوزاً MultiMAE المُدرَّب بإشراف على بيانات العمق.
  • استرجاع الحرارة (LLVIP): 63.4% — دون أن يرى النموذج زوجاً واحداً من حرارة-نص.
  • تصنيف IMU (Ego4D): 25.0% — أول نموذج على الإطلاق يؤدي تصنيفاً بدون أمثلة على بيانات مستشعرات الحركة.
  • ImageNet (IN1k): 77.7% — يُطابق أداء CLIP، وهذا متوقع لأن مُرمِّزَي الصورة والنص مأخوذان منه مباشرةً.

وفي ، الصورة أوضح: ImageBind يتفوّق على AudioMAE () في الصوت وعلى MultiMAE (مُشرَف) في العمق، عبر جميع إعدادات الأمثلة من مثال واحد إلى 16. بسيط فوق سمات ImageBind الثابتة يتفوّق باستمرار على هذه النماذج المتخصصة.

والورقة تكشف أيضاً عن نمط مهم: كلما كبر المُرمِّز البصري، تحسّنت المحاذاة الناشئة في كل الاتجاهات. التدرّج من ViT-B إلى ViT-L إلى ViT-H يرفع باطّراد دقة التعرّف بدون أمثلة على الصوت والعمق والحرارة.

افتح في المختبر
قارن دقة ImageBind الناشئة بدون أمثلة مع نماذج متخصصة دُرِّبت بإشراف مباشر على كل نمط.
تستيقظ التجربة عند وصولك…

لماذا يهم هذا: نحو ذكاء اصطناعي شامل متعدد الأنماط

الدرس الأعمق الذي يقدّمه ImageBind هو مبدأ تصميمي بسيط: لا حاجة لبيانات مُقترنة لكل تركيبة أنماط. نمط رابط واحد — الصورة — يكفي. هذا يُقلّص متطلبات البيانات بشكل جذري، ويفتح الباب لإضافة أنماط حسّية جديدة مستقبلاً (كالشمّ أو الذوق أو إشارات الدماغ) بمجرد توفير بيانات مُقترنة بالصورة.

العمليات الحسابية على التضمينات تكشف أن الفضاء المشترك يحتفظ بالبنية الدلالية التركيبية — يمكنك جمع حواسّ مختلفة جبرياً والحصول على نتائج مفهومة. هذا يُقرّبنا خطوة من أنظمة ذكاء اصطناعي تدمج حواسّها كما تفعل الكائنات الحية.

أما نتيجة التوسيع فتُعطي خارطة طريق بحثية واضحة: مُرمِّزات صورة أقوى تُنتج محاذاة ناشئة أفضل عبر كل الأنماط. بعبارة أخرى: استثمر في نماذج الرؤية واحصد الثمار مجاناً في كل نمط آخر.

الإرث: من CLIP إلى الربط الشامل

  1. 2021

    CLIP — الصور تلتقي النص

    حاذى رادفورد وآخرون الصور والنصوص في فضاء تضمين مشترك عبر التعلّم التبايُني على 400 مليون زوج من الويب. أتاح تصنيف الصور بدون أمثلة باستخدام تعليمات نصية.

  2. 2022

    AudioCLIP — إضافة الصوت

    وسّع CLIP إلى ثلاثة أنماط بالتدريب على بيانات مُقترنة (صوت-نص-صورة). تطلّب بيانات مُقترنة صريحة لكل نمط جديد.

  3. 2023

    ImageBind — ست أنماط وفضاء واحد

    استخدم الصور مرتكزاً شاملاً لربط ست أنماط. أثبت أن المحاذاة الناشئة — النقل عبر الأنماط بدون تدريب مُقترن — ليست ممكنة فحسب بل تتفوّق على النماذج المتخصصة.

  4. 2023

    LanguageBind — اللغة كمرتكز

    استكشف استخدام اللغة بدل الصور كنمط رابط. أظهر أن مبدأ الربط يتعمّم إلى ما وراء الرؤية.

  5. 2023

    ImageBind-LLM — الربط يلتقي النماذج اللغوية

    ربط تضمينات ImageBind متعددة الأنماط بالنماذج اللغوية الكبيرة، مما أتاح اتّباع التعليمات عبر الأنماط الستة جميعها.

المرجعGirdhar, El-Nouby, Liu, Singh, Alwala, Joulin, Misra. ImageBind: One Embedding Space To Bind Them All. CVPR, 2023.

مصطلحات هذه الورقة