السَّمْت

الذكاء متعدد الوسائط2023متوسط11 دقيقة قراءة

الضبط التعليمي البصري

Visual Instruction Tuning

Liu, H. · Li, C. · Wu, Q. · Lee, Y. J. — NeurIPS

المشكلة

غيَّر قواعد اللعبة في النماذج اللغوية الكبيرة النصية — نماذج مثل ChatGPT صارت قادرة على تنفيذ تعليمات بشرية معقدة لأنها تدرَّبت على بيانات اتّباع تعليمات. لكن في الجانب البصري لم يُطبَّق الأمر نفسه: لم تكن هناك بيانات تعليمية تجمع بين الصور وأسئلة حوارية غنية مع إجاباتها، ولم يوجد مُدرَّب شاملاً من البداية إلى النهاية لتنفيذ تعليمات بصرية.

الإسهام

LLaVA (مساعد اللغة والرؤية الكبير): منظومة تستخدم GPT-4 النصي فقط لتوليد 158 ألف مثال تعليمي انطلاقاً من أزواج صورة-نص موجودة، ثم تُدرِّب نموذجاً شاملاً يربط مُرمِّز الرؤية CLIP بالنموذج اللغوي Vicuna عبر إسقاط خطي بسيط. يمرّ بمرحلتين — الأولى تُحاذي السمات البصرية مع فضاء اللغة، والثانية تضبط النموذج بالكامل على بيانات التعليمات — فينتج نموذجاً بقدرات محادثة بصرية مبهرة ويحقق أعلى أداء على Science QA بنسبة 92.53%.

الأثر

أثبت LLaVA أن وصفة بسيطة — مُرمِّز رؤية مجمَّد يُربط بنموذج لغوي كبير عبر إسقاط خطي ثم يُضبط تعليمياً على بيانات ولَّدها GPT-4 — تكفي لبناء نظام متعدد الوسائط فعّال بشكل مدهش. أشعل هذا العمل موجة من أبحاث (LLaVA-1.5 وLLaVA-NeXT وعشرات النماذج اللاحقة)، وأرسى منهجية تقييم ، وبرهن أن بيانات تعليمية مُولَّدة آلياً قادرة على بناء مساعدات بصرية قوية. أصبحت هذه البنية المرجع لكل نموذج لغوي كبير مفتوح المصدر متعدد الوسائط ظهر بعده تقريباً.

تخيّل عالِماً ألمعياً محبوساً في غرفة مظلمة — يقرأ ويكتب ويجيب عن أي سؤال نصي، لكنه لا يرى شيئاً. المحاولات السابقة لمنحه بصراً كانت أشبه بإعطائه صورة وسؤاله «ماذا ترى؟» — مفيد لكنه محدود.

LLaVA يفعل شيئاً مختلفاً: يمنح هذا العالِم عينين ومحاوِراً. بدلاً من الاكتفاء بوصف الصور، يتعلم النموذج مناقشتها — يجيب عن أسئلة متتابعة، ويستنتج ما وراء المشاهد غير المألوفة، ويربط ما يراه بما يعرفه. والحيلة؟ معلِّم (GPT-4) كتب سيناريوهات المحادثات اعتماداً على أوصاف نصية للصور، فتمرَّن العالِم على الحوار قبل أن يرى صوراً حقيقية.

الفجوة: النماذج اللغوية الكبيرة تتحدث لكنها لا ترى

بحلول 2023 كانت المضبوطة بالتعليمات مثل ChatGPT قد أتقنت تنفيذ التعليمات النصية المعقدة. وفي المقابل، نماذج الرؤية واللغة مثل CLIP وBLIP-2 كانت تفهم الصور — لكن بأساليب جامدة: تولِّد وصفاً، أو تجيب عن سؤال اختيارات، أو تصنِّف كائناً. لم يكن أي منها قادراً على إجراء محادثة حرة حول صورة كما يفعل GPT-4 مع النصوص.

عقبتان رئيسيتان وقفتا في الطريق:

  • غياب بيانات تعليمية متعددة الوسائط. الضبط التعليمي يحتاج أمثلة من نوع «الإنسان يسأل ← النموذج يجيب» حول الصور. هذه البيانات لم تكن متوفرة عملياً، وإنتاجها بمُوصِّفين بشريين بطيء ومكلف.

  • غياب نموذج شامل يتّبع التعليمات البصرية. الأنظمة الموجودة إما ربطت وحدات رؤية ولغة منفصلة بآليات معقدة (مثل Flamingo)، أو لم تستطع تنفيذ تعليمات مفتوحة أصلاً.

الابتكار الأول: GPT-4 يكتب بيانات التدريب

الفكرة الذكية هنا أنك لا تحتاج نموذجاً يرى الصور حتى يكتب عنها — يكفي أن تعطيه أوصافاً نصية جيدة. أخذ الباحثون أزواج صورة-نص جاهزة من مجموعة بيانات COCO، وحوّلوا معلومات كل صورة إلى شكلين من يفهمهما نموذج نصي:

  • أوصاف — خمس جمل كتبها بشر تصف المشهد من زوايا مختلفة.

  • — أسماء الكائنات مع إحداثياتها، مثل person: [0.68, 0.24, 0.77, 0.69].

ثم أعطوا هذه الأوصاف لـ GPT-4 (الذي لا يستطيع رؤية الصور) وطلبوا منه توليد ثلاثة أنواع من الاستجابات التعليمية وكأنه يرى الصورة فعلاً:

  • محادثات — حوارات متعددة الأدوار حول المحتوى البصري (58 ألف مثال).

  • أوصاف تفصيلية — وصف غني وشامل للصور (23 ألف مثال).

  • استدلال معقد — أسئلة تتطلب تفكيراً منطقياً مرحلياً حول المشهد (77 ألف مثال).

النتيجة: 158 ألف مثال تعليمي — مجموعة بيانات تدريب كاملة أُنتجت دون أي توصيف بشري إضافي بخلاف الأوصاف الأصلية.

افتح في المختبر
تابع كيف يحوِّل GPT-4 أوصاف الصور ومربعات الإحاطة إلى بيانات حوارية تعليمية، خطوة بخطوة.
تستيقظ التجربة عند وصولك…

البنية: مرمِّز بصري + إسقاط + نموذج لغوي كبير

بنية LLaVA بسيطة بشكل لافت — ثلاثة مكونات فقط متصلة ببعضها:

  1. (CLIP ViT-L/14) — مُحوِّل الرؤية نفسه من CLIP، مُدرَّب مسبقاً على محاذاة الصور مع النصوص. يأخذ الصورة ويحوِّلها إلى شبكة من البصرية. فكِّر فيه كشبكيّة عين النموذج: يرى الصورة ويُخرج تمثيلاً منظَّماً لها.

  2. (مصفوفة خطية واحدة W) — هي «المترجم» الذي ينقل البصرية إلى الفضاء البُعدي نفسه الذي تعيش فيه كلمات النموذج اللغوي. عملية ضرب مصفوفي واحدة: Hv=W⋅ZvH_v = W \cdot Z_v. هذا كل شيء — لا انتباه تقاطعي ولا Q-Former ولا دمج معقد. مجرد جسر خطي.

  3. النموذج اللغوي الكبير (Vicuna) — نسخة من LLaMA مضبوطة بالتعليمات تولِّد الردود. يستقبل المُسقَطة ملحقة بـ التعليمات النصية، ويولِّد الإجابة بأسلوب .

الرموز البصرية تُوضع ببساطة قبل الرموز النصية في تسلسل مدخلات النموذج اللغوي. من وجهة نظر النموذج، الصورة مجرد رموز إضافية — يعالج الرؤية واللغة في تيار واحد موحَّد.

Hv=W⋅Zv,Zv=g(Xv)H_v = W \cdot Z_v, \quad Z_v = g(X_v)
إسقاط السمات البصرية — الجسر بين الرؤية واللغة — g = المُرمِّز البصري CLIP · X_v = الصورة المُدخلة · Z_v = السمات البصرية · W = مصفوفة الإسقاط القابلة للتعلُّم · H_v = الرموز البصرية في فضاء تضمينات اللغة
افتح في المختبر
انقر على أي مكوِّن لمعرفة دوره في منظومة LLaVA.
تستيقظ التجربة عند وصولك…

التدريب على مرحلتين: حاذِي ثم علِّم

تدريب LLaVA يمرّ بمرحلتين مصمَّمتين بعناية، كل واحدة تحل مشكلة مختلفة:

المرحلة الأولى — لـ. الهدف هنا تعليم طبقة الإسقاط كيف تترجم السمات البصرية إلى لغة يفهمها النموذج اللغوي. باستخدام 595 ألف زوج صورة-وصف مُرشَّح من CC3M، يتعلم النموذج مهمة بسيطة: «صِف هذه الصورة باختصار». في هذه المرحلة تُدرَّب مصفوفة الإسقاط W فقط، بينما يبقى المُرمِّز البصري والنموذج اللغوي مجمَّدين. الأمر أشبه بمعايرة مترجم — يتعلم المفردات أولاً قبل أن يدخل في حوار.

المرحلة الثانية — الشامل. هنا يتعلم النموذج تنفيذ التعليمات حول الصور. باستخدام 158 ألف مثال تعليمي ولَّدها GPT-4، تُحدَّث أوزان طبقة الإسقاط والنموذج اللغوي معاً (بينما يظل المُرمِّز البصري مجمَّداً). في هذه المرحلة يتعلم النموذج الاستدلال، والوصف التفصيلي، وإجراء محادثات متعددة الأدوار، وربط ما يراه بما يعرفه من تدريبه المسبق.

افتح في المختبر
بدِّل بين المرحلتين لترى أي المكونات مجمَّد وأيها قيد التدريب.
تستيقظ التجربة عند وصولك…
p(Xa∣Xv,Xinstruct)=∏i=1Lpθ(xi∣Xv,Xinstruct,<i,Xa,<i)p(X_a \mid X_v, X_{\text{instruct}}) = \prod_{i=1}^{L} p_\theta(x_i \mid X_v, X_{\text{instruct},<i}, X_{a,<i})
هدف التدريب ذاتي الانحدار — توقُّع إجابة المساعد رمزاً تلو الآخر — X_v = الصورة · X_instruct = رموز التعليمات · X_a = رموز الإجابة المطلوبة · θ = المعاملات القابلة للتعلُّم · النموذج يُعظِّم احتمال توليد الإجابة الصحيحة بمعلومية الصورة والتعليمات

كيف تصبح الصورة رموزاً

جمال LLaVA في الطريقة التي يوحِّد بها الرؤية واللغة في تيار رموز واحد. المسار الكامل يعمل كالتالي:

  1. المُرمِّز البصري CLIP يأخذ الصورة ويُخرج شبكة من متجهات السمات ZvZ_v (متجه لكل رقعة من الصورة، تماماً كما في مُحوِّل الرؤية).

  2. مصفوفة الإسقاط W تنقل كل متجه سمات إلى الفضاء البُعدي نفسه الذي تعيش فيه تضمينات كلمات النموذج اللغوي، فتنتج رموزاً بصرية HvH_v.

  3. تُرصَف هذه الرموز البصرية مع التعليمات النصية المُرمَّزة HqH_q في تسلسل مدخلات واحد.

  4. النموذج اللغوي يعالج هذا التسلسل الموحَّد — الرموز البصرية أولاً ثم النصية — ويولِّد الرد بأسلوب ذاتي الانحدار.

من وجهة نظر النموذج اللغوي، لا فرق بين «رؤية» صورة و«قراءة» كلمة — كلاهما تضمينات في الفضاء ذاته. آلية تسمح لكل كلمة بالانتباه إلى كل رقعة صورة والعكس، مما يتيح استدلالاً غنياً عبر الوسائط.

افتح في المختبر
شاهد كيف تُسقَط رُقَع الصورة في فضاء رموز النموذج اللغوي ثم تُدمج مع الرموز النصية.
تستيقظ التجربة عند وصولك…

الفكرة في الكود

التمرير الأمامي لـ LLaVA — من الصورة إلى المحادثةpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def clip_vision_encoder(image, patch_size=14):
    """مرمِّز الرؤية CLIP ViT-L/14: قسِّم الصورة إلى رُقَع ورمِّز كل رقعة."""
    H, W, C = image.shape
    n_patches = (H // patch_size) * (W // patch_size)  # مثلاً 256 لصورة 224×224
    # في الواقع يحدث هنا تمرير أمامي كامل لمحوِّل الرؤية
    visual_features = np.random.randn(n_patches, 1024)  # Z_v: (256, 1024)
    return visual_features

def project_to_language_space(Z_v, W_proj):
    """الإسقاط الخطي البسيط: الجسر الكامل بين الرؤية واللغة."""
    H_v = Z_v @ W_proj  # (256, 1024) @ (1024, 4096) → (256, 4096)
    return H_v           # رموز بصرية بأبعاد تضمينات الكلمات نفسها

def llava_forward(image, text_tokens, W_proj, llm):
    """
    LLaVA: مرمِّز CLIP يرمِّز الصورة ← إسقاط ← سلسلة مع النص ← النموذج اللغوي يولِّد.
    """
    # الخطوة 1: استخراج السمات البصرية
    Z_v = clip_vision_encoder(image)           # (256, 1024)

    # الخطوة 2: الإسقاط إلى فضاء تضمينات اللغة
    H_v = project_to_language_space(Z_v, W_proj)  # (256, 4096)

    # الخطوة 3: الحصول على تضمينات النص
    H_q = llm.embed(text_tokens)               # (T, 4096)

    # الخطوة 4: سلسلة الرموز البصرية + النصية في تسلسل واحد
    input_embeds = np.concatenate([H_v, H_q], axis=0)  # (256+T, 4096)

    # الخطوة 5: النموذج اللغوي يولِّد الاستجابة ذاتياً الانحدار
    response = llm.generate(input_embeds)
    return response

# هذا كل شيء. الصورة مجرد رموز إضافية للنموذج اللغوي الكبير.
# مصفوفة الإسقاط W هي كل ما يربط الرؤية باللغة.

النتائج: المحادثة البصرية وScience QA

قُيِّم LLaVA في سياقين يختبران قدرات متكاملة:

تقييم المحادثة البصرية. باستخدام GPT-4 كحَكَم، سجّل LLaVA 85.1% مقارنة بخط أساس GPT-4 النصي على مقياس مُولَّد من 90 سؤالاً بصرياً (محادثات وأوصاف تفصيلية واستدلال معقد). وعلى مقياس أصعب يضم 60 سؤالاً من مجالات واقعية متنوعة، سجّل 67.3% إجمالاً — متقدم بفارق واضح على BLIP-2 عند 38.1% وOpenFlamingo عند 19.1%. وفي الاستدلال المعقد تحديداً وصل إلى 81.7%.

Science QA. على هذا المقياس الذي يضم 21 ألف سؤال علمي متعدد الوسائط، حقق LLaVA دقة 90.92%. وحين دُمج مع GPT-4 كحَكَم (LLaVA يقترح وGPT-4 يحسم عند الاختلاف)، وصلت المنظومة إلى 92.53% — رقم قياسي جديد تفوَّق على أساليب متخصصة مثل متعدد الوسائط عند 91.68%.

افتح في المختبر
قارن أداء LLaVA مع BLIP-2 وOpenFlamingo وخط أساس GPT-4 النصي.
تستيقظ التجربة عند وصولك…

ما الأكثر تأثيراً: نتائج الحذف التجريبي

دراسات في الورقة تكشف عدة نقاط جوهرية:

  • الضبط التعليمي حاسم. بدونه يسجّل النموذج 21.5% فقط — انخفاض بـ63 نقطة. النموذج بلا ضبط تعليمي لا يكاد يستطيع تنفيذ تعليمات بصرية.

  • أنواع البيانات الثلاثة كلها مفيدة. حذف بيانات الاستدلال المعقد يُسقط الأداء 5.7 نقطة، وحذف الأوصاف التفصيلية يُسقطه نقطتين. حتى بيانات المحادثة وحدها أفضل بكثير من الغياب الكامل للضبط التعليمي.

  • التدريب المسبق ضروري. تخطي المرحلة الأولى (محاذاة السمات) والتدريب مباشرة على Science QA يُسقط الدقة من 90.92% إلى 85.81% — فجوة 5.1%. مرحلة المحاذاة تحفظ المعرفة المكتسبة سابقاً أثناء بناء الجسر البصري.

  • السمات من الطبقة قبل الأخيرة أفضل. استخدام الطبقة ما قبل الأخيرة من CLIP يعطي 90.92% مقابل 89.96% للأخيرة — على الأرجح لأن الطبقة الأخيرة تركِّز على سمات مجردة كلية، بينما الطبقات الأبكر تحتفظ بتفاصيل مكانية محلية.

  • الحجم يُحدث فرقاً. نموذج 13 مليار يتفوق على نموذج 7 مليارات بـ1.08 نقطة مئوية.

لماذا هذا العمل مهم

  1. 2023

    LLaVA (هذه الورقة)

    أول ضبط تعليمي بصري ببيانات ولَّدها GPT-4. إسقاط خطي يربط CLIP بـ Vicuna. حقق 85.1% مقارنة بـ GPT-4 في المحادثة البصرية و92.53% على Science QA.

  2. 2023

    LLaVA-1.5

    استبدل الإسقاط الخطي بشبكة MLP من طبقتين، واستخدم CLIP-ViT-L-336px لدقة أعلى، وأضاف بيانات أسئلة بصرية أكاديمية. حقق أعلى أداء على 11 مقياساً بـ 1.2 مليون عينة فقط، مع تدريب في يوم واحد على 8 وحدات A100.

  3. 2024

    LLaVA-NeXT

    دعم صوراً أعلى دقة عبر تقسيم ديناميكي، مع نماذج لغوية أقوى (LLaMA-3 وQwen-1.5) وفهم فيديو دون أمثلة سابقة. وسَّع حدود ما يمكن للنماذج متعددة الوسائط مفتوحة المصدر تحقيقه.

أثبت LLaVA أن البنية القائمة على لا تحتاج وحدات دمج متخصصة لمعالجة وسائط متعددة. الانتباه الذاتي نفسه الذي يعالج النصوص قادر على معالجة الصور — كل ما يلزم جسر يترجم السمات البصرية إلى فضاء رموز النموذج اللغوي. هذه النتيجة هي الأساس الذي بُني عليه كل حديث.

المرجعLiu, Li, Wu, Lee. Visual Instruction Tuning. NeurIPS, 2023.

مصطلحات هذه الورقة