Glow: التدفق التوليدي بالالتفافات القابلة للعكس 1×1

بحلول عام 2018 كانت ثلاث عائلات من النماذج التوليدية قد نضجت، لكن كلاً منها تفوّقت في جانب وعجزت في جانب آخر:

• الشبكات التوليدية التنافسية أنتجت أوضح الصور، لكنها خلت من مُرمِّز — أي لا سبيل لتحويل صورة حقيقية إلى رمز في الفضاء الكامن — كما أنها لا تُعطيك احتمالية أي صورة. فضلاً عن أن تدريبها مشهور بعدم الاستقرار.
• المُرمِّزات التلقائية المتغيّرة جمعت بين مُرمِّز وفاكّ ترميز، لكنها حسّنت حدًّا أدنى للاحتمالية اللوغاريتمية (ELBO) وليس الاحتمالية نفسها. هذه الفجوة التقريبية هي السبب المباشر في ضبابية العيّنات.
• النماذج الذاتية الانحدارية (مثل PixelCNN) حسبت الاحتمالية بدقّة، لكنها تُولّد بكسلاً واحداً في كل خطوة — من اليسار إلى اليمين ومن الأعلى إلى الأسفل — فيكون التوليد بطيئاً جداً ولا يقبل التوازي.

السؤال الطبيعي: هل يمكن لنموذج واحد أن يجمع الثلاثة — احتمالية دقيقة، وتوليد متوازٍ، وفضاء كامن ذو معنى؟ الجواب هو ما تُقدّمه التدفقات الطبيعية.

الأساس الرياضي لكل التدفقات الطبيعية هو قاعدة تغيير المتغيّرات. لنبنِ الحدس أولاً: تخيّل ورقة مطاطية عليها نقاط حبر موزّعة بانتظام. إذا مددتَ الورقة من جهة، تتباعد النقاط فتقلّ كثافتها في تلك المنطقة. وإذا ضغطتها من جهة أخرى تتقارب النقاط فتزداد الكثافة. محدِّد اليعقوبي هو بالضبط المقياس الرياضي لعامل التمدد أو الانضغاط هذا.

عملياً ننطلق من توزيع بسيط نعرف صيغته — عادةً توزيع غاوسي معياري $p_Z(\mathbf{z}) = \mathcal{N}(\mathbf{0}, \mathbf{I})$. ثم نُمرِّره عبر تحويل قابل للعكس $f$ فنحصل على توزيع مُعقّد يُمثّل فضاء الصور $\mathbf{x} = f(\mathbf{z})$. قاعدة تغيير المتغيّرات تُعطينا كثافة التوزيع الناتج مباشرةً:

الجميل أنه حين نُركِّب $K$ خطوة قابلة للعكس $f = f_1 \circ f_2 \circ \dots \circ f_K$، فإن لوغاريتم المحدِّد يتحوّل إلى مجموع بسيط: $\log\!\left|\det\!\left(\frac{\partial f^{-1}}{\partial \mathbf{x}}\right)\right| = \sum_{i=1}^{K} \log\!\left|\det\!\left(\frac{\partial f_i^{-1}}{\partial \mathbf{h}_{i-1}}\right)\right|$

بهذا يتبلور التحدي التصميمي كلّه في سؤال واحد: كيف نبني دوالّ قابلة للعكس ويكون حساب محدِّد يعقوبيها رخيصاً حسابياً؟ هنا يأتي دور خطوة التدفق الثلاثية في Glow.

كل خطوة تدفق في Glow مبنيّة من ثلاث طبقات قابلة للعكس تُنفَّذ واحدة تلو الأخرى. تخيّلها كخطّ إنتاج من ثلاث محطات: كل محطة تُعالج جانباً مختلفاً من التحويل، ولأن كل محطة قابلة للعكس وحدها يكون الخطّ بأكمله قابلاً للعكس.

خطوة تدفق واحدة لا تكفي لالتقاط كل تعقيد صورة طبيعية. لذلك يُكدِّس Glow $K$ خطوة تدفق في مستوى واحد، ثم يُكرّر البناء عبر $L$ مستوى في بنية متعددة المقاييس مأخوذة من RealNVP. في كل مستوى تحدث ثلاث عمليات:

1. الضغط (Squeeze): نُعيد تشكيل كل مربع مكاني بأبعاد $2 \times 2 \times c$ ليصبح $1 \times 1 \times 4c$. فعلياً نستبدل الدقة المكانية بعمق القنوات، وهذا يتيح لالتفافات 1×1 اللاحقة أن تخلط معلومات من بكسلات متجاورة.
2. $K$ خطوة تدفق: نُطبّق الخطوة الثلاثية (تسوية التنشيط ← التفافة 1×1 ← اقتران) $K$ مرة.
3. التقسيم (Split): نقسّم القنوات إلى نصفين. النصف الأول يخرج مباشرة إلى الفضاء الكامن (بوصفه توزيعاً غاوسياً مُستقلاً). والنصف الثاني يستمر إلى المستوى التالي.

هذه البنية تُنتج فضاءً كامناً هرمياً: التقسيمات في المستويات المبكّرة تلتقط الملامح الكبيرة كالشكل العام والإضاءة، بينما التقسيمات المتأخرة تُرمِّز التفاصيل الدقيقة كالأنسجة والحواف. وإخراج نصف البيانات مبكّراً في كل مستوى يجعل التدريب أكفأ ويُقلّل استهلاك الذاكرة.

في RealNVP كان تحديد أي قنوات تدخل $\mathbf{x}_a$ وأيها تدخل $\mathbf{x}_b$ أمراً ثابتاً — إمّا عكس الترتيب أو نمط رقعة الشطرنج. معنى ذلك أن طبقة الاقتران ترى التقسيم نفسه دائماً. الأمر أشبه بخلط رُزمة ورق بالطريقة ذاتها في كل مرة: لن تحصل أبداً على ترتيب مختلف فعلاً.

الالتفافة القابلة للعكس 1×1 في Glow هي تحويل خطّي مُتعلَّم كامل الرتبة يعمل على بُعد القنوات. وهي تُعمِّم ثلاثة خيارات بدرجات تصاعدية من القدرة التعبيرية:

1. العكس الثابت (NICE) — صفر معاملات
2. تبديل عشوائي ثابت (RealNVP) — صفر معاملات قابلة للتعلّم
3. التفافة 1×1 مُتعلَّمة (Glow) — $c^2$ معاملاً قابلاً للتعلّم

نتائج الورقة أظهرت تحسّناً واضحاً ومتدرّجاً في الاحتمالية اللوغاريتمية عند الانتقال من الخيار الأول إلى الثاني فالثالث، وهذا يُؤكّد أن ترك النموذج يتعلّم كيف يُقسّم القنوات يُحسِّن القدرة التعبيرية للتدفق بشكل ملموس.

من أجمل ما في Glow بساطة هدف التدريب. لا توجد لعبة تنافسية كما في الشبكات التوليدية التنافسية، ولا حدّ متغيّري كما في المُرمِّزات التلقائية المتغيّرة، ولا تفكيك ذاتي انحداري. دالة الخسارة هي ببساطة سالب الاحتمالية اللوغاريتمية مُعدَّلةً على مجموعة التدريب:

$\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \log p_\theta(\mathbf{x}_i)$

وكل حدّ فيها يتفكّك عبر قاعدة تغيير المتغيّرات إلى احتمالية غاوسية لوغاريتمية مُضافاً إليها مجموع لوغاريتمات المحدِّدات — وهي كلّها كميّات نستطيع حسابها بدقّة تامة.

التوليد يسير بالاتجاه المعاكس: نسحب عيّنة من التوزيع الغاوسي $\mathbf{z} \sim \mathcal{N}(\mathbf{0}, T^2\mathbf{I})$ ثم نُمرِّرها عبر $f^{-1}$. معامل الحرارة $T$ يتحكّم في التوازن بين الجودة والتنوّع: قيمة منخفضة (مثلاً 0.7) تسحب العيّنات قرب المركز فتنتج صوراً أوضح لكن أقل تنوّعاً.

الاستكمال بالسهولة نفسها: نُرمِّز صورتين حقيقيتين إلى $\mathbf{z}_A$ و$\mathbf{z}_B$ في الفضاء الكامن، ثم نفكّ ترميز النقطة $(1-t)\mathbf{z}_A + t\mathbf{z}_B$ حيث $t \in [0, 1]$. ولأن الفضاء الكامن توزيع غاوسي مُعايَر بإحكام، فإن السير بخطّ مستقيم فيه يُنتج انتقالات سلسة وذات معنى في فضاء الصور — ابتسامة تظهر تدريجياً، نظارات تبرز، لون شعر يتغيّر بسلاسة.

بما أن مُرمِّز Glow يُحوِّل الصور إلى فضاء كامن غاوسي منتظم البنية، يصبح بإمكاننا إجراء عمليات حسابية لها معنى دلالي. لنأخذ سمة ثنائية مثل «الابتسام»:

1. نُرمِّز جميع صور التدريب التي تحتوي ابتسامة ونحسب متوسط متجهاتها الكامنة $\mathbf{z}_{+}$.
2. نُرمِّز الصور التي لا تحتوي ابتسامة ونحسب $\mathbf{z}_{-}$.
3. اتجاه السمة هو الفرق بينهما: $\Delta\mathbf{z} = \mathbf{z}_{+} - \mathbf{z}_{-}$.

لجعل أي وجه يبتسم: نُرمِّزه إلى $\mathbf{z}$، نضيف $\alpha \cdot \Delta\mathbf{z}$، ثم نفكّ الترميز. التحكّم بقيمة $\alpha$ يُتيح ضبط مقدار الابتسامة بسلاسة. هذا ينجح لأن القابلية الدقيقة للعكس في التدفق تضمن أن المتجهات الكامنة القريبة من بعضها تُنتج صوراً قريبة من بعضها — وهي خاصية لا تستطيع الشبكات التوليدية التنافسية ضمانها.

حقّق Glow أفضل احتمالية لوغاريتمية بين نماذج التدفقات على مجموعة CIFAR-10 بمعدل 3.35 بت لكل بُعد، وكذلك على ImageNet بأبعاد 32×32 و64×64. لكن الأثر الأكبر كان في النتائج البصرية: صور وجوه بأبعاد 256×256 كانت في وقتها أكثر الصور واقعيةً من أي نموذج غير تنافسي مُدرَّب حصراً على تعظيم الاحتمالية.

البنية المستخدمة لتوليد وجوه CelebA-HQ كانت ضخمة: $L = 6$ مستويات، و$K = 32$ خطوة تدفق في كل مستوى، أي نحو 200 مليون معامل و600 طبقة التفافية تقريباً. استغرق التدريب على 8 وحدات معالجة رسومية نحو أسبوعين. هذه السعة الكبيرة كانت ضرورية لأن الصور عالية الدقة تتضمّن اعتماديات بعيدة المدى تحتاج نموذجاً بهذا الحجم لالتقاطها.

التدفقات الطبيعية تحمل قيوداً بنيوية لا مفرّ منها. كل تحويل يجب أن يكون قابلاً للعكس وأن يملك محدِّد يعقوبي قابلاً للحساب — وهذا يُضيِّق خيارات التصميم المعماري بشكل كبير. شرط القابلية للعكس يفرض أن يحمل الفضاء الكامن الأبعاد نفسها التي يحملها فضاء البيانات: صورة 256×256×3 تتحوّل إلى متجه كامن فيه 256×256×3 عنصر. هذا أضخم بكثير من الرمز الكامن المضغوط في المُرمِّز التلقائي المتغيّر أو الشبكة التوليدية التنافسية، ويطرح سؤالاً مشروعاً: هل التمثيل مضغوط حقاً؟

من الناحية الحسابية، Glow مُكلف. توليد صورة واحدة 256×256 يتطلّب تشغيل نحو 600 طبقة التفافية بالعكس. واحتاج النموذج إلى قرابة 200 مليون معامل لتحقيق نتائج مقبولة، وهو رقم أكبر بكثير ممّا احتاجته الشبكات التوليدية التنافسية المعاصرة ذات الجودة المماثلة. ورغم أن شبكات GAN ونماذج الانتشار اللاحقة تفوّقت على Glow في جودة الصور، يظلّ ضمان الاحتمالية الدقيقة هو القوة الفريدة التي يتمتّع بها نموذج التدفقات.

أثبت Glow أن التدفقات الطبيعية قادرة على التوسّع لتوليد صور عالية الدقة — وهي نتيجة أعادت الحيوية للمجال بأكمله. الالتفافة القابلة للعكس 1×1 أصبحت مكوّناً أساسياً في كل بنى التدفقات التي تلت، من Flow++ إلى WaveGlow (في توليد الصوت).

كما رسّخت الورقة نقطة جوهرية: نموذج يُحسَّن بهدف بسيط ومبدئي — تعظيم الاحتمالية — يستطيع إنتاج عيّنات مُقنعة بدون تدريب تنافسي. هذه الرؤية ألهمت لاحقاً تطوير التدفقات الطبيعية المستمرة (المعادلات التفاضلية العصبية) وأساليب مطابقة التدفقات، التي ترث ضمانات الاحتمالية الدقيقة والقابلية للعكس لكنها تعمل بديناميكيات زمن مستمر بدل الخطوات المنفصلة.

يقف Glow عند لحظة محورية في تاريخ النمذجة التوليدية: اللحظة التي أثبتت فيها التدفقات الطبيعية أنها قادرة على المنافسة في جودة الصور لا في الأناقة الرياضية فحسب. الحِيَل المعمارية المحددة — تسوية التنشيط، والالتفافات 1×1، والتقسيم متعدد المقاييس — صارت أدوات معيارية في المجال. وأمّا إثبات أن تعظيم الاحتمالية وحده يكفي لإنتاج صور واقعية فقد كان البذرة التي نمت وأثمرت ثورة مطابقة التدفقات.