GLIDE: توليد صور واقعية وتحريرها باستخدام نماذج انتشار موجَّهة بالنص

قبل GLIDE، كان هناك مساران تقدّما بشكل مستقل تماماً. المسار الأول هو نماذج الانتشار — وتحديداً الأعمال التي أثبتت تفوّقها على شبكات GAN في جودة الصور على ImageNet. هذه النماذج كانت تُنتج وجوهاً وحيوانات ومشاهد يكاد يستحيل تمييزها عن الصور الحقيقية. المشكلة؟ كانت محدودة بتسميات الفئات: تستطيع أن تطلب «كلب» أو «سيارة»، لكن لا تستطيع أن تقول «كلب كورغي يرتدي ربطة عنق حمراء وقبعة حفلة بنفسجية.»

المسار الثاني هو DALL-E، وهو نموذج ارتدادي ذاتي تدرّب على أزواج من النصوص والصور، وأثبت أنه قادر على تركيب مشاهد معقّدة من أوصاف نصية حرّة. لكن صوره كانت ضبابية في معظم الأحيان، وللحصول على نتائج مقبولة كان يحتاج إلى توليد مئات النُّسخ ثم استخدام CLIP لاختيار الأفضل — عملية مكلفة حسابياً.

السؤال الذي فرض نفسه: هل يمكن الجمع بين واقعية الانتشار ومرونة التحكّم النصي في نظام واحد؟

فكرة نموذج الانتشار تقوم على مرحلتين متعاكستين. في المرحلة الأمامية، نأخذ صورة حقيقية ونُضيف إليها ضوضاء غاوسية تدريجياً على مدى $T$ خطوة حتى تتحوّل إلى تشويش عشوائي بالكامل — كأنك تُذيب الصورة في بحر من الضجيج. في المرحلة العكسية، تتعلّم شبكة عصبية $\epsilon_\theta$ عكس هذه العملية: تتنبّأ بالضوضاء المُضافة في كل خطوة ثم تطرحها لاستعادة الصورة الأصلية.

الفكرة أشبه بتعلّم فكّ خلطة: لو عرفت بالضبط ما المكوّن الذي أُضيف، تستطيع إزالته. خلال التدريب، يرى النموذج آلاف الصور المشوَّشة ويتعلّم التنبّؤ بمقدار الضوضاء $\epsilon$ الموجودة في النسخة المشوَّشة $x_t$.

الفكرة الأساسية في GLIDE واضحة ومباشرة: نأخذ نموذج انتشار قوياً ونُعطيه القدرة على فهم النص. البنية تتكوّن من ثلاثة أجزاء تعمل معاً:

1. مرمِّز نصي — وهو محوِّل بـ24 طبقة وعرض 2048، يضمّ نحو 1.2 مليار معامل. وظيفته تحويل الوصف النصي إلى سلسلة من $K$ تضمين للرموز يستوعبها النموذج البصري.

2. نموذج انتشار بصري — مبني على بنية U-Net من نموذج ADM، موسَّع إلى 512 قناة وبنحو 2.3 مليار معامل. هذا هو المحرّك الذي يتولّى فعلياً إزالة الضوضاء من الصور وتحويلها إلى مخرجات واقعية.

3. نقطتا دخول للنص — النص يصل إلى النموذج البصري عبر مسارين. المسار الأول: تضمين الرمز الأخير يحلّ محلّ تسمية الفئة التي كان يستخدمها النموذج سابقاً (مثل «كلب» أو «سيارة»)، فيعمل كملخّص شامل للوصف. المسار الثاني: السلسلة الكاملة من $K$ تضمين تُسقَط في سياق الانتباه المتقاطع عند كل طبقة في U-Net، ما يُتيح لكل طبقة أن تنتبه لأجزاء مختلفة من الوصف النصي بشكل مستقل.

النموذج الأساسي يصل إلى 3.5 مليار معامل، ويُضاف إليه نموذج انتشار منفصل لـرفع الدقة بـ1.5 مليار معامل، يأخذ المخرجات بحجم 64×64 ويرفعها إلى 256×256.

الإسهام الأبرز في GLIDE هو إثبات أن التوجيه الخالي من المصنِّف يتفوّق بفارق كبير على توجيه CLIP في مهمة توليد الصور من النصوص. لكن كيف يعمل هذا الأسلوب؟ ولماذا ينجح بهذه الفعالية؟

لنبدأ بالحدس. أثناء توليد الصورة، يُنتج النموذج تنبّؤين عند كل خطوة إزالة ضوضاء: الأول مشروط بالوصف النصي $c$، والثاني غير مشروط — كأن النموذج لم يقرأ أي وصف (باستخدام موجِّه فارغ $\varnothing$). الفرق بين التنبّؤين يكشف للنموذج اتجاه النص: «هذا هو التعديل الذي يجعل الصورة أقرب لما يصفه الوصف.» وعندما نُضخّم هذا الفرق، ندفع الصورة بقوة أكبر نحو مطابقة النص.

فكّر في الأمر كملاحة ببوصلتين. الأولى تُشير إلى «أي صورة عشوائية» والثانية إلى «صورة تُطابق هذا الوصف.» المتّجه من الأولى إلى الثانية هو اتجاه النص. ضرب هذا المتّجه بمعامل توجيه $s > 1$ يجعل النموذج يتّبع النص بحدّة أكبر — لكن على حساب شيء من التنوّع في النتائج.

الأسلوب البديل يعتمد على CLIP كحَكَم خارجي يُقيّم مدى تطابق الصورة مع النص. نموذج CLIP يتكوّن من مرمِّزين — واحد للصور $f(x)$ وآخر للنصوص $g(c)$ — ويُعطي درجة تشابه بينهما. كلّما ارتفع الجداء النقطي $f(x) \cdot g(c)$ دلّ ذلك على تطابق أفضل.

آليّة التوجيه هنا مختلفة تماماً: عند كل خطوة إزالة ضوضاء، يحسب النموذج تدرّج درجة تشابه CLIP بالنسبة للصورة المشوَّشة الحالية $x_t$. هذا التدرّج يرسم للنموذج الاتجاه الذي يجب أن يُعدّل فيه الصورة لتزداد تشابهاً مع الوصف. ثم يُزاح متوسط إزالة الضوضاء في هذا الاتجاه بمقدار يتناسب مع معامل التوجيه.

لكن هناك مشكلة عملية: نماذج CLIP العادية تدرّبت على صور نظيفة، بينما الصور أثناء عملية الانتشار تكون مشوَّشة — أي خارج النطاق الذي يعرفه CLIP. لحلّ هذه المشكلة، درّب فريق GLIDE نسخة خاصة من CLIP تتعامل مع الصور المشوَّشة $f(x_t, t)$ صراحةً، ممّا جعل التدرّجات أكثر دقة وموثوقية.

أجرت الورقة مقارنة منهجية بين الأسلوبين. على المقاييس الآلية، حصل توجيه CLIP على درجات تشابه أعلى — لكن هذا الرقم مُضلّل. السبب أن توجيه CLIP ينتج ما يُشبه الأمثلة الخصومية: صور تخدع مقياس CLIP وتحصل على درجات عالية دون أن تبدو فعلاً أفضل للعين البشرية.

الفيصل كان التقييم البشري. عُرضت على المقيّمين أزواج من الصور واختاروا الأكثر واقعية والأدق تطابقاً مع الوصف. النتائج كانت حاسمة: التوجيه الخالي من المصنِّف تفوّق في المعيارين معاً. وحين قورن GLIDE بهذا الأسلوب مع DALL-E — حتى مع استخدام DALL-E لإعادة ترتيب 512 صورة مرشّحة عبر CLIP — فضّل المقيّمون البشريون GLIDE بنسبة 87% من حيث الواقعية و69% من حيث مطابقة الوصف.

على مجموعة MS-COCO، حقّق GLIDE درجة FID تبلغ 12.24 دون تدريب مسبق عليها — وهي نتيجة تُنافس نماذج دُرِّبت خصيصاً على هذه المجموعة — وكل ذلك بنموذج أصغر بثلاث مرّات تقريباً من DALL-E (3.5 مقابل 12 مليار معامل).

القدرة الثانية المهمّة في GLIDE هي إكمال الصور — أي ملء مناطق محذوفة من صورة موجودة بمحتوى جديد يُوجَّه بالنص. المستخدم يحدّد منطقة في الصورة (مثلاً مساحة فارغة فوق أريكة)، ويكتب وصفاً مثل «لوحة لكلب كورغي على الحائط»، فيملأ النموذج تلك المنطقة بمحتوى يُطابق الوصف ويتناسق مع ما حوله.

من الناحية التقنية، يُضبط النموذج بإضافة أربع قنوات إدخال جديدة: ثلاث قنوات لصورة RGB المُقنَّعة وقناة رابعة للقناع الثنائي الذي يُحدّد المنطقة المطلوب ملؤها. خلال التدريب، تُمحى مناطق عشوائية من الصور ويتعلّم النموذج إعادة بنائها اعتماداً على البكسلات المحيطة والوصف النصي. التفصيلة الذكية هنا: أوزان القنوات الإضافية تُهيَّأ بالصفر، فينطلق النموذج من قدراته المُكتسبة مسبقاً دون أن تتأثر.

النتائج لافتة: النموذج لا يكتفي بملء الفراغ، بل يُنتج ظلالاً وانعكاسات وإضاءة منسجمة مع المشهد المحيط. ويستطيع حتى محاكاة الأسلوب الفني عند التعديل على لوحات. والأهمّ أن المستخدم يستطيع بناء مشاهد معقّدة تدريجياً — يبدأ بغرفة مُولَّدة، ثم يُضيف أثاثاً وتفاصيل، كل مرّة بوصف نصي مختلف.

أدرك الباحثون أن نموذجاً بهذه القدرة يُمكن أن يُستخدم لتوليد صور مزيّفة مقنعة. لذلك اتّخذوا إجراءات على مستويات عدّة: درّبوا نسخة أصغر بـ300 مليون معامل (GLIDE المُرشَّح) على بيانات نُقّيت من صور الأشخاص والعنف ورموز الكراهية، ونشروا هذه النسخة فقط مع الاحتفاظ بالنموذج الكامل.

الملفت أن عملية الترشيح كشفت عن تحيّزات واضحة: عند طلب «ألعاب للبنات» أنتج النموذج ألعاباً وردية نمطية، بينما أعطى نتائج محايدة لطلب «ألعاب للأولاد». وعند طلب «مكان عبادة» مال إلى توليد مبانٍ تُشبه الكنائس. والأهمّ أن هذه التحيّزات تضخّمت مع التوجيه الخالي من المصنِّف. كان الباحثون شفّافين في توثيق هذه القيود، وأرسَوا بذلك سابقة مهمّة في مجال الإفصاح المسؤول عن قدرات الذكاء الاصطناعي ومخاطره.