نماذج الانتشار تتفوّق على شبكات GAN في توليد الصور

الفكرة الجوهرية في نموذج الانتشار هي توليد الصور عبر عكس عملية تشويش تدريجية. أثناء التدريب، نأخذ صوراً حقيقية ونُضيف إليها ضجيجاً غاوسياً على $T$ خطوة، حتى تتحوّل الصورة إلى تشويش صرف. النموذج يتعلّم السير في الاتجاه المعاكس: يتنبّأ بالضجيج المُضاف عند كل خطوة ثم يُزيله.

لتبسيط الصورة، تخيّل طريقاً سريعاً فيه $T$ مخرج. عند المخرج 0 لديك صورة نظيفة، وعند المخرج $T$ لا يوجد سوى ضجيج عشوائي. العملية الأمامية تسوق الصورة من المخرج 0 إلى المخرج $T$، تُضيف قليلاً من الضجيج عند كل محطة. النموذج يتعلّم الرحلة المعاكسة — العملية العكسية — ينطلق من الضجيج الخالص عند المخرج $T$ ويُنظّف الصورة تدريجياً حتى يصل إلى المخرج 0.

عملياً، متنبّئ الضجيج $\epsilon_\theta(x_t, t)$ يستقبل صورة مشوَّشة $x_t$ ورقم الخطوة الزمنية $t$، ويُخرج تقديراً للضجيج $\epsilon$ الذي أُضيف إليها. التدريب يعتمد على دالة خسارة بسيطة للغاية: متوسط مربع الخطأ بين الضجيج الذي توقّعه النموذج والضجيج الحقيقي.

الفرضية الأولى التي انطلقت منها الورقة: جزء كبير من تأخّر نماذج الانتشار عن شبكات GAN سببه ببساطة أن البنية المعمارية لم تحظَ بنفس القدر من التحسين. بنيات GAN مثل StyleGAN2 وBigGAN مرّت بسنوات من دراسات الإزالة المنهجية والتجريب المتواصل. في المقابل، نماذج الانتشار كانت لا تزال تستخدم شبكة U-Net الأصلية من DDPM بتعديلات طفيفة فقط.

ما فعله Dhariwal وNichol هو إجراء دراسة إزالة منهجية دقيقة على ImageNet بدقة 128×128، يختبران تغييراً واحداً في كل مرة. النتيجة: عدّة تعديلات بسيطة تتراكم معاً لتُحقّق قفزة كبيرة في FID، ومعظمها مُستلهَم من أفضل الممارسات في أدبيات GAN والمُحوِّلات.

كل تعديل من التعديلات التالية اختُبر بشكل مستقل أولاً، ثم جُمعت معاً لقياس الأثر التراكمي:

العمق مقابل العرض. إضافة المزيد من كتل البواقي لكل مستوى دقة (أي زيادة العمق) مع تثبيت حجم النموذج تُحسّن FID، لكنها تُبطئ التدريب. النماذج الأعرض تصل للجودة نفسها في وقت أقل، فاختار المؤلّفان العرض على حساب العمق.

الانتباه متعدد الدقة. في DDPM الأصلي، كان الانتباه يُطبَّق عند دقة 16×16 فقط. النموذج المُحسَّن يُطبّقه عند ثلاث دقّات: 32×32 و16×16 و8×8. الفائدة أن النموذج يلتقط التفاصيل الدقيقة والبنية الكلّية في آنٍ واحد.

رؤوس انتباه أكثر. الانتقال من رأس واحد إلى رؤوس متعددة بواقع 64 قناة لكل رأس يُحسّن FID بوضوح. هذا يتّسق مع ما أثبتته أبحاث المُحوِّلات: الرؤوس الصغيرة الكثيرة تتفوّق على الرؤوس الكبيرة القليلة.

كتل بواقي بأسلوب BigGAN. استبدال عمليات رفع الدقة وخفض الدقة البسيطة بكتل بواقي على طراز BigGAN يُحسّن انسياب المعلومات عبر الشبكة.

التسوية التكيُّفية للمجموعات (AdaGN). بدلاً من دمج معلومات الخطوة الزمنية والفئة بجمع بسيط، تتدخّل AdaGN في معاملات تسوية المجموعات مباشرةً: $\text{AdaGN}(h, y) = y_s \cdot \text{GroupNorm}(h) + y_b$، حيث يأتي $y_s$ و$y_b$ من إسقاط خطّي لتضمين الخطوة الزمنية والفئة. الفكرة مستوحاة من التسوية التكيُّفية في StyleGAN.

الإنجاز الثاني يُعالج ميزة كانت حكراً على شبكات GAN: القدرة على التحكّم في التوازن بين التنوّع والدقة عبر حيلة الاقتطاع. كلّما ضيّقت نطاق الاقتطاع، حصلت على صور أوضح لكن أقل تنوّعاً. نماذج الانتشار لم يكن لديها أي مقبض مماثل.

الحل: التوجيه بالمصنِّف. الفكرة أنيقة في بساطتها — درِّب مصنِّفاً منفصلاً $p_\phi(y|x_t, t)$ على صور مشوَّشة عند كل مستوى ضجيج. ثم أثناء أخذ العيّنات، استخدم تدرّجات هذا المصنِّف لدفع كل خطوة من عملية إزالة الضجيج باتجاه فئة مستهدفة $y$. تخيّل مرشداً متحفياً يهمس للمُرمِّم أثناء عمله: «هذه اللوحة ينبغي أن تبدو أقرب لصورة كلب كورغي».

رياضياً، العملية العكسية المشروطة تُصبح:

إذا افترضنا أن لوغاريتم احتمال المصنِّف سلس نسبياً (انحناؤه منخفض مقارنةً بدقة الانتقال الغاوسي)، فإن الجداء يتبسّط بشكل أنيق. الانتقال المشروط يظل غاوسياً تماماً كالانتقال غير المشروط، لكن مع انزياح في المتوسط بمقدار $\Sigma g$، حيث $g = \nabla_{x_t} \log p_\phi(y|x_t)$ هو تدرّج المصنِّف و$\Sigma$ هي التغايُر المُتنبَّأ.

خوارزمية أخذ العيّنات مباشرة: في كل خطوة زمنية، احسب المتوسط غير المشروط $\mu$ والتغايُر $\Sigma$، ثم اسحب عيّنة من $\mathcal{N}(\mu + s\Sigma g, \Sigma)$. المعامل $s$ هو مقياس التدرّج الذي يتحكّم في قوّة التوجيه.

اكتشاف عملي مهم: استخدام تدرّجات المصنِّف بمقياسها الطبيعي ($s = 1$) لا يكفي. رغم أن المصنِّف يُعطي احتمالاً بحدود 50% للفئة المستهدفة، إلا أن الصور الناتجة لا تبدو بصرياً منتمية لتلك الفئة. التدرّجات تحتاج إلى تضخيم.

تضخيم التدرّجات بمعامل $s > 1$ له تفسير نظري واضح: هو مكافئ تماماً لسحب عيّنات من توزيع مُحدَّد $p(y|x)^s$. حين يكون $s > 1$ يتركّز هذا التوزيع أكثر على أقوى تنبّؤات المصنِّف — كأنك ترفع «حدّة اقتناع» المرشد المتحفي في التشبيه السابق.

اللافت أن المقياس يمكن رفعه بعشر مرات (حتى $s = 10$) من دون الوقوع في أمثلة خصومية. هذا يُتيح تحكّماً سلساً في التوازن بين الاستدعاء (التنوّع) والدقة (الإخلاص)، حيث يصل FID إلى أفضل قيمه عند مقياس وسيط.

البنية المُحسَّنة وحدها (ADM) حقّقت أفضل FID على مجموعة LSUN: 1.90 لغرف النوم، و2.57 للأحصنة، و5.57 للقطط — كلّها في التوليد غير المشروط، متجاوزةً StyleGAN2. وعلى ImageNet بدقة 64×64 وصل النموذج إلى FID 2.07.

بإضافة التوجيه بالمصنِّف (ADM-G)، تجاوزت نماذج الانتشار نموذج BigGAN-deep على ImageNet عند كل دقة: FID 2.97 عند 128×128، و4.59 عند 256×256، و7.72 عند 512×512. والأهم من الأرقام أن نماذج الانتشار حافظت على استدعاء أعلى بكثير — أي تغطية أوسع لتوزيع البيانات — مقارنةً بـGAN عند مستوى دقة مماثل أو أفضل.

حتى حين اقتصر أخذ العيّنات على 25 خطوة فقط باستخدام DDIM، طابق النموذج الموجَّه FID نموذج BigGAN-deep مع تغطية أشمل للتوزيع.

أخيراً، الجمع بين التوجيه بالمصنِّف ورفع الدقة أعطى أفضل النتائج على الإطلاق: FID 3.94 عند 256×256 و3.85 عند 512×512. السبب أن التوجيه ورفع الدقة يُحسّنان محورَين مختلفَين من الجودة — التوجيه يرفع الإخلاص، ورفع الدقة يرفع الدقة المكانية — فيتكاملان بدل أن يتنافسا.

الاشتقاق الغاوسي السابق يصلح فقط لأخذ العيّنات العشوائي. لكن ماذا عن المسارات الحتمية مثل DDIM؟ هنا لجأ المؤلّفان إلى منظور الدالة التدريجية. الفكرة أن متنبّئ الضجيج $\epsilon_\theta(x_t)$ يمكن إعادة تفسيره كـدالة تدريجية مُقيَّسة:

$\nabla_{x_t} \log p_\theta(x_t) = -\frac{1}{\sqrt{1-\bar\alpha_t}} \epsilon_\theta(x_t)$

وحين نُضيف تدرّج المصنِّف نحصل على الدالة التدريجية المشتركة:

$\nabla_{x_t} \log(p_\theta(x_t) \cdot p_\phi(y|x_t)) = \nabla_{x_t}\log p_\theta(x_t) + \nabla_{x_t}\log p_\phi(y|x_t)$

هذا يتحوّل إلى تنبّؤ ضجيج مُعدَّل: $\hat\epsilon(x_t) = \epsilon_\theta(x_t) - \sqrt{1-\bar\alpha_t}\,\nabla_{x_t}\log p_\phi(y|x_t)$ يُدخَل مباشرةً في DDIM. بعبارة مبسّطة: تدرّج المصنِّف «يطرح» من التنبّؤ الضجيجَ الذي لا يتّسق مع الفئة المستهدفة، فيميل مُزيل الضجيج نحوها.

جرّب المؤلّفان أيضاً أنبوباً من مرحلتين: نموذج انتشار يُولّد صورة صغيرة منخفضة الدقة، ثم نموذج رفع دقة منفصل يُكبّرها. الملاحظة المفتاحية أن التوجيه ورفع الدقة يعملان على محورَين مختلفين تماماً:

رفع الدقة يُحسّن الدقة المكانية والإحكام مع الحفاظ على استدعاء عالٍ. التوجيه يُحسّن اتساق الفئة والإخلاص لكنه يُقلّل الاستدعاء. حين نجمعهما — بتطبيق التوجيه على النموذج منخفض الدقة فقط ثم رفع الدقة بعدها — يتكاملان ويُعطيان أفضل أرقام FID: 3.94 عند 256×256 و3.85 عند 512×512.

الصورة الذهنية: متخصّص أول يرسم اسكتشات صغيرة لكنها دقيقة المحتوى (التوجيه)، ثم متخصّص ثانٍ يُكبّر هذه الاسكتشات إلى لوحات غنيّة بالتفاصيل (رفع الدقة). كل واحد منهما يتولّى بُعداً مختلفاً من الجودة.

هذه الورقة كانت نقطة التحوّل في مسار النمذجة التوليدية. حين أثبتت أن نماذج الانتشار قادرة على مجاراة شبكات GAN والتفوّق عليها في ملعبها الأساسي — جودة الصور — تحوّل مركز ثقل المجال بأكمله. خلال أشهر قليلة أصبح منهج الانتشار هو السائد.

أبرز امتداد مباشر لهذا العمل هو التوجيه بدون مصنِّف الذي طرحه Ho وSalimans عام 2021. لاحظا أن تدريب مصنِّف على صور مشوَّشة عملية مُكلِفة وتحصر المنهج في بيانات مُعنوَنة. الحل الذي قدّماه أنيق: تدريب نموذج واحد يعمل بشكل مشروط وغير مشروط معاً، ثم الاستيفاء بين المخرجَين أثناء أخذ العيّنات. هذا حافظ على القدرة على التحكّم في التوازن بين التنوّع والإخلاص من دون مصنِّف منفصل، وتحوّل سريعاً إلى أسلوب التوجيه المعتمد في معظم نماذج توليد الصور من النص.

GLIDE (Nichol وآخرون، 2021) طبّق كلاً من التوجيه بالمصنِّف والتوجيه بدون مصنِّف على توليد الصور من أوصاف نصية، مُثبِتاً أن نماذج الانتشار الموجَّهة قادرة على إنتاج صور من نصوص — وهو ما مهّد الطريق لـDALL·E 2 وImagen وStable Diffusion.