النمذجة التوليدية عبر تقدير تدرّجات توزيع البيانات

الطريقة التقليدية في النماذج التوليدية هي محاولة تعلّم دالة الكثافة الاحتمالية $p(x)$ — أي ارتفاع سطح التوزيع عند كل نقطة. لكن حساب $p(x)$ يحتاج إلى دالة تقسيم تجمع على كل القيم الممكنة، وهذا تكامل مستعصٍ حسابياً في الأبعاد العالية.

هذه الورقة تتّبع مساراً مختلفاً تماماً: بدل أن نتعلّم الارتفاع، نتعلّم الميل. دالة النتيجة هي تدرّج لوغاريتم الكثافة:

$s(x) = \nabla_x \log p(x)$

الناتج حقل متّجهي: في كل نقطة من فضاء البيانات يُعطيك سهماً يشير نحو المناطق الأعلى كثافةً. الملاحظة الجوهرية هنا أن هذا التدرّج لا يحتاج إلى ثابت التطبيع أصلاً — لأنك حين تأخذ التدرّج، يختفي الثابت (مشتقة الثابت صِفر). بمعنى آخر، نستطيع تعلّم دالة النتيجة دون أن نمرّ أبداً بحساب دالة التقسيم المستعصية.

هنا تظهر مفارقة واضحة: لكي نُدرّب الشبكة على تقريب دالة النتيجة الحقيقية $\nabla_x \log p(x)$، نحتاج نظرياً إلى معرفة $p(x)$ — وهو بالضبط ما نحاول أن نتجنّب حسابه! مطابقة النتيجة تحلّ هذه المفارقة بطريقة أنيقة.

الطريقة المباشرة ستكون تصغير تباعد فيشر — وهو المسافة التربيعية المتوقعة بين ما تُخرجه الشبكة وبين دالة النتيجة الحقيقية. عبر التكامل بالأجزاء (هيفارينن، 2005)، يمكن تحويل هذا الهدف إلى صيغة تعتمد فقط على يعقوبي النموذج وقيمه عند نقاط البيانات — دون الحاجة لـ $p(x)$ نفسها.

لكن الورقة تستعمل طريقة أبسط: مطابقة النتيجة بإزالة الضجيج (فنسنت، 2011). الفكرة: خذ كل نقطة بيانات $x$ وأضف لها ضجيجاً غاوسياً معروفاً فتحصل على $\tilde{x}$. بما أن الاضطراب غاوسي، فإن دالة النتيجة الحقيقية للتوزيع المُضجَّج لها صيغة مغلقة — وهي ببساطة الاتجاه الراجع من النقطة المُضجَّجة نحو النقطة النظيفة، مقسوماً على تباين الضجيج:

وبهذا تصبح دالة الخسارة بسيطة للغاية: أضف ضجيجاً لنقطة بيانات، اطلب من الشبكة أن تتنبّأ بـدالة النتيجة، ثم عاقب الفرق بين التنبّؤ والقيمة الحقيقية:

البيانات الحقيقية تعيش على متشعّب رقيق داخل فضاء عالي الأبعاد — مثلاً صور الوجوه تقع فعلياً على سطح مُنحنٍ أبعاده أقل بكثير من فضاء البكسلات الكامل. في المناطق الشاسعة بين تجمّعات البيانات، الكثافة الاحتمالية تقترب من الصفر عملياً، ما يعني أن دالة النتيجة هناك تصبح غير موثوقة تقريباً.

لو درّبنا شبكة النتيجة بمستوى ضجيج صغير واحد، ستكون دقيقة قرب البيانات لكنها عديمة الفائدة في المناطق الفارغة. تخيّل أنك تُطلق ديناميكيات لانجفان من ضجيج عشوائي: المتجوّل سيحتاج إلى عبور صحاري فارغة بلا أيّ إشارة تدرّج موثوقة — سيتيه بلا اتجاه ولن يعثر على البيانات أبداً.

فكّر في الأمر مكانياً: مع ضجيج ضئيل، كل نقطة بيانات تصنع حولها «مخروط جذب» ضيقاً. إذا بدأ المتجوّل بعيداً عن الجميع، لن يصله أيّ مخروط — لن يشعر بأيّ قوة تسحبه نحو أيّ وادٍ.

الحل أنيق: نستعمل مستويات ضجيج متعددة. الضجيج الكبير يُوسّع كل نقطة بيانات إلى تلّة عريضة تغطي المناطق الفارغة، فيحصل المتجوّل على اتجاه تقريبي. الضجيج الصغير يُحدّد التضاريس لتموضع دقيق. تستخدم الورقة متتالية هندسية من مستويات الضجيج تتدرّج من $\sigma_1$ الكبير إلى $\sigma_L$ الصغير.

بدل أن نُدرّب شبكة عصبية مستقلة لكل مستوى ضجيج، الفكرة هي تدريب شبكة واحدة مشتركة نُعطيها مستوى الضجيج $\sigma$ كمدخل إضافي. شبكة النتيجة المشروطة بالضجيج (NCSN) $s_\theta(x, \sigma)$ تستقبل نقطة بيانات (مُضجَّجة) ومقياس الضجيج معاً.

هدف التدريب الإجمالي يجمع خسارة مطابقة النتيجة بإزالة الضجيج عبر كل المستويات، مع ترجيح كل مستوى بمعامل $\lambda(\sigma_i) = \sigma_i^2$ لكي تتوازن المقاييس المختلفة:

ديناميكيات لانجفان خوارزمية مستوحاة من الفيزياء لأخذ عيّنات من توزيع: نبدأ من ضجيج عشوائي، ثم نتّخذ في كل خطوة حركة صغيرة في اتجاه دالة النتيجة، مع إضافة رشّة من العشوائية للاستكشاف:

$x_{t+1} = x_t + \frac{\alpha}{2} s_\theta(x_t) + \sqrt{\alpha}\, z_t, \quad z_t \sim \mathcal{N}(0, I)$

الصورة الذهنية: كرة تتدحرج هبوطاً على سطح لوغاريتم الكثافة، لكن مع اهتزاز عشوائي يمنعها من الانحشار في نتوءات محلية. مع عدد كافٍ من الخطوات وحجم خطوة $\alpha$ صغير بما يكفي، يتقارب موضع الكرة نحو عيّنة من التوزيع الحقيقي.

لكن كما رأينا، ديناميكيات لانجفان العادية بمستوى ضجيج واحد تفشل بسبب مشكلة المتشعّب. الحل الذي تقترحه الورقة هو ديناميكيات لانجفان المُخمَّدة تدريجياً: بدل أن نشغّل لانجفان دفعة واحدة، نشغّلها على مراحل. نبدأ بـدالة النتيجة عند أكبر مستوى ضجيج $\sigma_1$ (تضاريس واسعة سلسة)، ونُنفّذ $T$ خطوة ليجد المتجوّل المنطقة العامة، ثم ننتقل إلى $\sigma_2$ (تضاريس أوضح قليلاً)، ونُنفّذ $T$ خطوة أخرى، وهكذا — نُقلّل الضجيج تدريجياً حتى نصل إلى $\sigma_L$ فيستقر المتجوّل بدقة على متشعّب البيانات.

مستويات الضجيج $\{\sigma_i\}_{i=1}^{L}$ تُرتَّب في متتالية هندسية: كل مستوى يساوي نسبة ثابتة من سابقه. الورقة تُعطي مبدأين تصميميين لاختيار الطرفين.

أكبر مستوى ضجيج $\sigma_1$ يجب أن يكون كبيراً بحيث يُصبح التوزيع المُضجَّج $q_{\sigma_1}(x) \approx \mathcal{N}(0, \sigma_1^2 I)$ غير قابل للتمييز عملياً عن ضجيج غاوسي صرف. الهدف أن ديناميكيات لانجفان عند هذا المقياس تستطيع الامتزاج جيداً بصرف النظر عن نقطة البداية.

أصغر مستوى ضجيج $\sigma_L$ يجب أن يكون صغيراً بحيث يُصبح التوزيع المُضجَّج $q_{\sigma_L}$ غير قابل للتمييز عن البيانات الحقيقية — حتى تخرج العيّنات النهائية نظيفة. عملياً يُضبط $\sigma_L$ ليكون جزءاً صغيراً من المسافة المعتادة بين أقرب نقطتَي بيانات.

بعشرة مستويات ($L = 10$) ونسبة هندسية بين الطرفين، تتشكّل سلسلة سلسة تنقلنا من «كتلة ضبابية واحدة كبيرة» إلى «صور حادة وواقعية».

على مجموعة CIFAR-10، حقّقت NCSN نتيجة Inception بلغت 8.87 ونتيجة FID بلغت 25.32 — وهي أفضل أرقام لأيّ نموذج توليدي غير تنافسي في ذلك الوقت. للمقارنة: أفضل نموذج قائم على الأرجحية (Glow) سجّل FID يبلغ 46.90، وأفضل شبكة تنافسية (SNGAN) سجّلت 21.70.

على مجموعة CelebA (بدقة 128×128) ولّد النموذج وجوهاً بتفاصيل دقيقة مثل خصلات الشعر وملامح الوجه — جودة تنافس الشبكات التنافسية لكن دون انهيار الأنماط أو عدم استقرار التدريب الذي أرهق الطرق التنافسية.

وربما الأهم من الأرقام: النموذج أنتج عيّنات متنوعة فعلاً. على عكس الشبكات التنافسية التي كثيراً ما تنهار نحو مجموعة فرعية من الأنماط، المقاربة القائمة على النتيجة تُغطّي التوزيع الكامل للبيانات لأن ديناميكيات لانجفان مضمونة نظرياً أن تتقارب نحو التوزيع الصحيح مع عدد كافٍ من الخطوات.

ما أظهره سونغ وإرمون ببساطة هو أننا لا نحتاج إلى تدريب تنافسي ولا بنيات قابلة للعكس ولا حساب كثافة صريح لكي نبني نماذج توليدية قوية. كل ما نحتاجه هو أن نتعلّم أيّ اتجاه «ينحدر» — أي الاتجاه نحو البيانات — ثم نسير فيه. هذه الرؤية البسيطة المستوحاة من الفيزياء هي التي فتحت الباب لثورة نماذج الانتشار كما نعرفها اليوم.