Imagen: نماذج انتشار واقعية لتوليد الصور من النصوص بفهم لغوي عميق

قبل Imagen، كان الجميع يُدرّب المرمِّز النصي ومولّد الصور معاً على أزواج من الصور والتوصيفات. نماذج مثل CLIP تعلّمت تمثيلات مشتركة بين الصور والنصوص، وبَنَت أنظمة مثل GLIDE وDALL-E 2 فهمها اللغوي على هذه المرمِّزات المتعددة الأنماط. الفكرة الضمنية كانت أن المرمِّز النصي لا بد أن «يرى» صوراً أثناء التدريب حتى يتعلّم وصفها.

Imagen قلب هذه الفكرة رأساً على عقب. استخدم T5-XXL — نموذجاً لغوياً مُجمَّداً بـ4.6 مليار معامل، لم يتدرّب إلا على نصوص — بوصفه مرمِّزاً نصياً. يعني ذلك أن T5 لم يرَ صورة واحدة في حياته. ومع ذلك، حين كبّر فريق Google Brain حجم المرمِّز النصي من T5-Small إلى T5-XXL، تحسّنت جودة الصور ومطابقتها للنص بشكل ملحوظ جداً. أما تكبير شبكة U-Net المسؤولة عن الرسم فلم يُضف سوى تحسينات طفيفة.

لماذا ينجح هذا الأسلوب؟ لأن فهم أمر نصي معقد — مثل «مكعب أزرق فوق كرة حمراء، على يسار أسطوانة صفراء» — هو في الأصل مسألة لغوية لا بصرية. النموذج اللغوي القوي يبني تمثيلات تركيبية غنية تربط بين العلاقات المكانية والصفات والأعداد والتفاعلات بين الكائنات. كل ما يحتاجه نموذج الانتشار بعد ذلك هو أن يرسم ما فهمه النموذج اللغوي.

توليد صورة بدقة 1024×1024 دفعة واحدة بنموذج انتشار واحد سيكلّف حسابياً أكثر مما هو عملي. الحل الذي تبنّاه Imagen هو تقسيم المهمة إلى ثلاث مراحل متتالية، كل واحدة يتولاها نموذج انتشار مستقل:

المرحلة الأولى — النموذج الأساسي (64×64). شبكة U-Net بملياري معامل، تستقبل تضمينات T5 النصية عبر الانتباه التبادلي. هنا تُرسم الصورة الأولى: صغيرة الحجم لكنها تلتقط التكوين العام والتوزيع المكاني والمعنى. يُستخدم في هذه المرحلة جدول تشويش جيبي.

المرحلة الثانية — فائق الدقة 64→256. نموذج بـ600 مليون معامل يأخذ الصورة الصغيرة ويرفع دقتها إلى 256×256، فيُضيف تفاصيل بنيوية كالملمس والحواف. النص يدخل هنا أيضاً للحفاظ على الاتساق مع الأمر الأصلي.

المرحلة الثالثة — فائق الدقة 256→1024. شبكة Efficient U-Net بـ400 مليون معامل ترفع الدقة إلى 1024×1024 وتملأ التفاصيل الفوتوغرافية الدقيقة — مسام الجلد، نسيج القماش، انعكاسات الأسطح. تستخدم هذه المرحلة جدول تشويش خطي.

النقطة الجوهرية: كل نموذج فائق الدقة لا يستقبل فقط الصورة منخفضة الدقة، بل يستقبل أيضاً التضمينات النصية. هذا يحافظ على ارتباط الصورة بالنص الأصلي في كل مرحلة تكبير.

المشكلة في أي خط أنابيب متتالٍ بسيط أن الأخطاء تتراكم: لو أنتج النموذج الأساسي عيباً — لطخة لونية أو حافة في غير موضعها — فإن نموذج فائق الدقة سيأخذ ذلك العيب ويُحسّنه بإخلاص حتى يصبح خللاً واضحاً عالي الدقة. كأنك تُكبّر صورة ضبابية: التكبير لا يُصلح الضبابية بل يُبرزها أكثر.

الحل الذي ابتكره Imagen هو تعزيز التشويش المشروط. الفكرة بسيطة وذكية: أثناء التدريب، بدلاً من إعطاء نموذج فائق الدقة صوراً نظيفة دائماً، نُفسد الصورة منخفضة الدقة بقدر عشوائي من الضجيج، ونُخبر النموذج بمقدار الضجيج المُضاف. هكذا يتعلّم النموذج شيئين: كيف يتعامل مع عيوب المرحلة السابقة ويُصلحها، وكيف يُكيّف سلوكه حسب مستوى التلف. الأمر أشبه بتدريب مُرمّم صور فوتوغرافية لا على صور نظيفة فحسب، بل على صور فيها خدوش وبقع وتشويش — فيتعلّم التعامل مع كل هذه العيوب بمرونة.

عند الاستدلال، يُضاف قدر صغير من الضجيج إلى الصورة منخفضة الدقة (يُجرَّب المستوى الأمثل بالبحث)، ونموذج فائق الدقة يُنظّفها ويُكبّرها في آنٍ واحد. هذه التقنية كانت عاملاً حاسماً في الوصول إلى مخرجات نظيفة بدقة 1024×1024.

التوجيه بدون مصنِّف هو الأسلوب المعتمد لدفع نماذج الانتشار نحو الالتزام بالأمر النصي. الفكرة أنه يُضخّم الفرق بين ما يتنبّأ به النموذج حين يرى النص وما يتنبّأ به حين لا يراه، ويتحكّم في درجة التضخيم وزنٌ w. رفع w يجعل الصورة أكثر التصاقاً بالوصف — لكن لهذا ثمن.

مع أوزان توجيه عالية، تخرج قيم البكسلات أثناء الاستعيان عن المدى المسموح [-1, 1]. أبسط حل هو القص المباشر (العتبة الثابتة): أي قيمة تتجاوز الحد تُقطع عنده. المشكلة أن القص ينتج مناطق مسطّحة بلون واحد — أبيض صافٍ أو أسود صافٍ — فتخرج الصور مُشبَعة الألوان وباهتة التفاصيل.

الحل الذي قدّمه Imagen هو العتبة الديناميكية. في كل خطوة إزالة تشويش، يُحسب المئين 99.5 للقيم المطلقة للبكسلات — لنسمّه s. إذا تجاوز s الواحد، تُقيَّد البكسلات في المدى [-s, s] ثم تُقسم على s لإعادتها إلى [-1, 1]. بدلاً من قطع القيم بعنف، هذه الطريقة تضغطها برفق نحو الداخل. النتيجة: صور حادة ومشرقة وواقعية حتى مع أوزان توجيه تصل إلى 10 وأكثر — وهي أوزان كانت ستُنتج صوراً صارخة ومُتشبّعة بالطريقة التقليدية.

في بنية U-Net التقليدية المستخدمة مع نماذج الانتشار، تتوزّع المعاملات بالتساوي تقريباً على جميع مستويات الدقة. لكن في مهمة فائق الدقة، الوضع مختلف: العمل الثقيل فعلاً — القرارات المتعلقة بالمعنى والتكوين — يحدث في المستويات منخفضة الدقة. أما الطبقات عالية الدقة فدورها في الغالب نقل التفاصيل المكانية لا أكثر.

Efficient U-Net تُعيد ترتيب الأولويات: تنقل قدرة النموذج من الكتل عالية الدقة (حيث لا يحتاج الأمر تفكيراً كثيراً) إلى الكتل منخفضة الدقة (حيث الفهم الدلالي هو الأساس). وتُضيف تعديلاً ذكياً: تصغير وصلات التخطي بمعامل 1/√2. في الوضع الطبيعي، وصلات التخطي تنقل التنشيطات من المرمِّز مباشرة إلى فاكّ الترميز. حين تكون هذه التنشيطات كبيرة، تطغى على السمات التي تعلّمها فاكّ الترميز بنفسه. تصغيرها بـ 1/√2 يُعيد التوازن ويسمح لفاكّ الترميز أن يُسهم بعمل حقيقي بدلاً من مجرد تمرير ما جاءه.

المحصلة نموذج يتقارب أسرع، يستهلك ذاكرة أقل، يُنتج عيّنات أجود، وأبسط حسابياً — كل ذلك دفعة واحدة. وهي حالة نادرة في مجالنا أن يُحسّن تبسيط البنية جميع المقاييس معاً.

يُنتج T5-XXL سلسلة من التضمينات النصية — تضمين واحد لكل رمز. هذه التضمينات تصل إلى شبكة U-Net عبر مسارين مختلفين:

الانتباه التبادلي. في عدة مستويات دقة داخل U-Net، توجد طبقات انتباه تبادلي تسمح لكل موضع في الصورة بأن «يسأل» تسلسل النص الكامل: ماذا ينبغي أن أرسم هنا؟ هذه هي القناة الأساسية التي تمرّ عبرها التفاصيل الدقيقة — الألوان، الأشكال، العلاقات المكانية — كلها تتدفق من النص إلى الصورة عبر هذا الانتباه.

إضافة التضمين المُجمَّع. التضمينات النصية تُحسب لها أيضاً متوسط حسابي يُدمج في متّجه واحد، ويُضاف إلى تضمين الخطوة الزمنية في عملية الانتشار. هذا يُعطي النموذج نبذة عامة عن الأمر النصي في كل طبقة، حتى الطبقات التي لا تحتوي انتباهاً تبادلياً. فكّر في الأمر هكذا: الانتباه التبادلي كقراءة السيناريو كلمة بكلمة، والتضمين المُجمَّع كمعرفة نوع الفيلم قبل أن تبدأ.

أظهرت نتائج الورقة أن الانتباه التبادلي تفوّق بفارق واضح على أساليب التشريط الأبسط كالتجميع بالانتباه أو المُعدِّلات بأسلوب FiLM. الاستنتاج: التفاعل التفصيلي بين الرموز النصية وسمات الصورة لا غنى عنه لتوليد دقيق يعكس الأمر النصي بأمانة.

مقاييس مثل FID على مجموعة COCO تقيس الجودة العامة للصور وتنوّعها، لكنها لا تكشف ما إذا كان النموذج يفهم فعلاً ما طُلب منه. نموذج قد يحصل على FID ممتاز بتوليد صور جميلة المظهر لكنها تتجاهل التفاصيل الدقيقة في الأمر النصي.

لذلك قدّم Imagen معيار DrawBench — مجموعة مُنتقاة من 200 أمر نصي مصمّمة خصيصاً لاختبار قدرات محددة عبر 11 فئة: الألوان، العدّ، العلاقات المكانية، التركيب، كتابة نصوص داخل الصور، أشياء غير مألوفة، تركيبات نادرة، أخطاء إملائية، أوصاف متناقضة، أوصاف طويلة، وغيرها.

خذ مثالاً: «مكعب أخضر فوق أسطوانة زرقاء، وكرة حمراء على اليمين» — هذا يختبر الاستدلال المكاني وربط الصفات بالأشكال معاً. أو: «واجهة متجر مكتوب عليها Diffusion» — وهذا يختبر قدرة النموذج على رسم نص مقروء داخل الصورة. في هذا النوع من المهام، أي ضعف في الفهم اللغوي يظهر فوراً.

حين قارن مُقيّمون بشريون بين Imagen وDALL-E 2 وGLIDE ونماذج الانتشار الكامنة وVQ-GAN+CLIP على جميع فئات DrawBench، فُضّل Imagen في كل من جودة الصورة ومطابقتها للنص، مع تفوّق لافت خصوصاً في الألوان والمواضع المكانية وكتابة النصوص.

على مجموعة COCO، حقق Imagen نتيجة FID بدون تدريب مسبق بلغت 7.27 — الأفضل حينها — متفوقاً على DALL-E 2 الذي سجّل 10.39، بل وعلى نماذج دُرّبت مباشرة على COCO نفسها. المُقيّمون البشريون وجدوا أن عيّنات Imagen تضاهي الصور الحقيقية في مدى مطابقتها للنص، وهو إنجاز ملفت.

دراسات الاستئصال رسمت صورة واضحة عن ترتيب الأهمية: تكبير المرمِّز النصي T5 من 77 مليون معامل (T5-Small) إلى 4.6 مليار (T5-XXL) خفض FID من 9.17 إلى 7.27 ورفع مطابقة النص بشكل كبير. في المقابل، تكبير U-Net لم يُضف كثيراً. العتبة الديناميكية كانت ضرورية للوصول إلى صور واقعية مع أوزان توجيه مرتفعة. الانتباه التبادلي أثبت أنه أفضل آلية تشريط. وتعزيز التشويش المشروط كان لا غنى عنه للحصول على مخرجات حادة بدقة 1024×1024.

هذه النتائج أثّرت مباشرة في الجيل التالي من النماذج. DALL-E 3 تبنّى مرمِّزات من نماذج لغوية كبيرة. Stable Diffusion XL استخدم مرمِّزين نصيين معاً. ونهج فائق الدقة المتتالي انتقل إلى مجال توليد الفيديو مع نماذج مثل Sora، التي وسّعت الفكرة إلى التكبير المكاني والزمني معاً.

المحرك الأساسي لعملية التوليد في Imagen هو التوجيه بدون مصنِّف. الفكرة أنه أثناء التدريب، يُحذف النص عشوائياً في نسبة من الحالات (يُستبدل بتضمينات فارغة). هكذا يتعلّم النموذج التوليد في كلتا الحالتين: حين يكون النص موجوداً وحين لا يكون.

عند الاستدلال، يحسب النموذج التنبؤين معاً — المشروط وغير المشروط — ثم يُضخّم الفرق بينهما. التنبؤ المُوجَّه يُصبح: ε_guided = ε_uncond + w × (ε_cond − ε_uncond)، حيث w وزن التوجيه. عندما w = 1 لا يحدث أي تعديل. أما حين w > 1 فالنموذج يدفع الصورة بقوة نحو الأمر النصي — تزداد المطابقة لكن يزداد خطر التشبّع اللوني أيضاً. Imagen يستخدم قيم w بين 5 و15 — أعلى بكثير مما كان متعارفاً عليه — وما أتاح ذلك هو العتبة الديناميكية التي تحمي الصورة من التشبّع.

الإسهام الأعمق لـ Imagen ليس نموذجاً بعينه بل مبدأ: الاستثمار في الفهم اللغوي أجدى من الاستثمار في التوليد البصري وحده. نموذج الانتشار لن يرسم أفضل مما يفهم. هذا المبدأ أصبح البوصلة التي توجّه كل نظام رئيسي لـتوليد الصور من النصوص منذ 2022، ويمتد طبيعياً إلى توليد الفيديو والمشاهد ثلاثية الأبعاد والصوت من النصوص.