تحليل جودة الصور في StyleGAN وتحسينها

يعتمد StyleGAN على تسوية النسخة التكيّفية (AdaIN) لحقن معلومات النمط في كل طبقة من طبقات المُولِّد. الفكرة ببساطة هي أن كل خريطة سمات يُعاد ضبط إحصائياتها — تُصفَّر المتوسط ويُوحَّد التباين — ثم تُطبَّق عليها معاملات قياس وإزاحة مأخوذة من متجه النمط. النتيجة أن محتوى خريطة السمات يبقى كما هو، لكن بصمتها الإحصائية — أي «نمطها» — تأتي من الشفرة الكامنة.

المشكلة التي اكتشفها الباحثون هي أن هذه الآلية تخلق ثغرة. حين يحتاج المُولِّد إلى إشارة قوية في خريطة سمات معيّنة، تمحوها التسوية لأنها تفرض تبايناً واحدياً. فماذا يفعل المُولِّد؟ يتعلّم حيلة ذكية: يُنشئ نتوءاً واحداً مهيمناً — بكسل واحد بقيمة ضخمة — يختطف إحصائيات خريطة السمات بأكملها. بعد التسوية يُقمَع هذا النتوء عددياً، لكنه يكون قد شوّه المتوسط والتباين فعلاً، فيُهرّب المُولِّد إشارته عبر بوابة التسوية. هذه النتوءات هي ما نراه في الصور المُولَّدة على شكل تشوّهات «قطرات الماء».

الصورة الذهنية هنا بسيطة: تخيّل فصلاً دراسياً يُجبر فيه المعلّم الجميع على الكلام بمستوى صوت واحد. طالب يريد الصراخ، فيصنع ضجّة في الخلفية تُربك مقياس الصوت عند المعلّم، وبذلك يمرّر رسالته. تلك الضجّة هي بالضبط التشوّه الذي يظهر في الصورة.

الملاحظة الجوهرية بسيطة: لماذا ننتظر حتى تمرّ الإشارة عبر الالتفاف ثم نُسوّي التنشيطات، بينما يمكننا تسوية أوزان الالتفاف نفسها قبل أن تمرّ أي إشارة؟ إذا ضُبطت الأوزان مسبقاً ليكون خرجها بتباين واحدي، تنتفي الحاجة إلى تسوية النسخة أصلاً — ومعها تنتفي الثغرة التي يستغلها المُولِّد لصنع النتوءات.

الحل يمرّ بخطوتين متتابعتين. في خطوة التشكيل، تُضرب أوزان الالتفاف بمعاملات النمط، وهذا يعادل تماماً ما كانت تفعله AdaIN من إعادة قياس — لكن على مستوى الأوزان لا التنشيطات. ثم في خطوة إزالة التشكيل، تُسوَّى هذه الأوزان المُعدَّلة بحيث يخرج من خريطة السمات الناتجة انحراف معياري قريب من الواحد، على افتراض أن المدخل ذو تباين واحدي.

لتبسيط الصورة: تخيّل شبكة أنابيب يتدفق فيها الماء (الإشارة) عبر صمامات (أوزان الالتفاف). أسلوب AdaIN يقيس ضغط الماء بعد خروجه من الصمامات ويحاول تعديله قسراً — لكن ارتفاعات الضغط تكون قد أتلفت الأنابيب بالفعل. أما إزالة التشكيل فتضبط الصمامات قبل أن يتدفق الماء، فيخرج بالضغط الصحيح من البداية دون أي ضرر.

لنصغ ذلك رياضياً. نرمز لأوزان الالتفاف الأصلية بـ $w_{i,j,k}$ حيث $i$ لقنوات الدخل، و$j$ لقنوات الخرج، و$k$ للمواقع المكانية داخل النواة. متجه النمط يعطينا معامل قياس $s_i$ لكل قناة دخل في كل طبقة.

الخطوة الأولى — التشكيل: نضرب كل وزن في معامل النمط الخاص بقناته:

الخطوة الثانية — إزالة التشكيل: نُسوّي الأوزان بعد تشكيلها حتى يخرج من الطبقة تباين قريب من الواحد:

فكرة التدريب التصاعدي أن المُولِّد يبدأ بتوليد صور صغيرة جداً (4×4) ثم تُضاف طبقات بدقّة أعلى تدريجياً أثناء التدريب. هذا الأسلوب كان نقلة نوعية في ProGAN وStyleGAN لأنه جعل التدريب على دقّات عالية مستقراً. لكن الباحثين في StyleGAN2 لاحظوا مشكلة خفيّة: ملامح الوجه كالعينين والأسنان تميل إلى الظهور في نفس المواقع البكسلية على اللوحة.

المشكلة تتضح عند الانتقال السلس بين وجهين في الفضاء الكامن. المفترض أن الملامح تتحرّك مع دوران الوجه، لكنها تبقى مُثبَّتة في إحداثيات ثابتة بغض النظر عن الوضعية. الأمر أشبه بعرض دُمى رُسمت فيه العينان على الخلفية لا على الدمية نفسها: الدمية تتحرّك والعينان ثابتتان.

السبب أن التدريب التصاعدي يُدرّب كل مستوى دقّة باستقلال في البداية. الطبقات الأولى ذات الدقّة المنخفضة تتعلّم وضع الملامح في مواقع مطلقة محددة وتصبح «نقاط ارتساء»، والطبقات اللاحقة تُحسّن التفاصيل فحسب دون أن تستطيع تحريك تلك المواقع.

الحل في StyleGAN2 هو الاستغناء عن التدريب التصاعدي كلياً واستخدام بنية ثابتة العمق تُدرّب جميع مستويات الدقّة منذ اللحظة الأولى. في جانب المُولِّد، كل مستوى دقّة يُسهم في الصورة النهائية عبر وصلات تخطّي تستخدم الاستيفاء الخطي ثنائي الأبعاد والجمع. وفي جانب المُميِّز، تُستخدم وصلات متبقية مع خفض العيّنات. هذا التصميم مستوحى من أسلوب MSG-GAN.

الفرق الجوهري واضح: في التدريب التصاعدي، طبقة 4×4 تحتكر تحديد البنية في المراحل المبكرة. أما مع وصلات التخطّي، فكل طبقة تشارك من البداية، والتوازن بين مساهمات الطبقات يتطوّر بشكل طبيعي أثناء التدريب بدل أن يُفرض بجدول زمني صارم.

بعد حل مشكلتَي التشوّهات، يبقى سؤال أعمق: هل الربط بين الشفرات الكامنة والصور ربط «مهذّب»؟ بمعنى: إذا تحرّكت خطوة صغيرة في أي اتجاه داخل الفضاء الكامن $\mathcal{W}$، هل التغيير الناتج في الصورة سيكون متناسباً وثابتاً؟ أم أنه قد يتفاوت تفاوتاً كبيراً بحسب مكانك أو الاتجاه الذي تتحرّك فيه؟

المُولِّد الذي يتمتّع بهذه الخاصية يُقال عنه إنه حسن الاشتراط، وهذا مهمّ لسببين عمليين. أولاً، يجعل التنقّل في الفضاء الكامن سلساً — فالسير بين وجهين يُنتج تحوّلاً طبيعياً بلا قفزات مفاجئة. ثانياً، يجعل المُولِّد قابلاً للعكس: أي أنك تستطيع أخذ صورة حقيقية وإيجاد الشفرة الكامنة التي تُعيد إنتاجها، لأن الربط لا ينطوي على نفسه ولا ينهار.

لقياس ذلك، ينظر الباحثون إلى مصفوفة يعقوبي $\mathbf{J}_w$ للمُولِّد، وهي مصفوفة المشتقات الجزئية التي تصف كيف يتغيّر كل بكسل استجابةً لكل بُعد كامن. حسن الاشتراط يعني أن مقياس هذه المصفوفة ثابت في كل مكان: خطوة بطول $\delta$ في $\mathcal{W}$ تُنتج دائماً تغييراً في الصورة بالمقدار نفسه تقريباً.

حساب منظِّم طول المسار (وعقوبة التدرّج R1 لـالمُميِّز) في كل خطوة تدريبية عملية مكلفة — تحتاج تمريرة عكسية كاملة عبر المُولِّد لأجل حدّ التنظيم وحده. لكن الباحثين لاحظوا أن هذه المُنظِّمات تتغيّر ببطء أثناء التدريب، فحسابها في كل خطوة هدرٌ غير مبرّر.

الفكرة العملية بسيطة: نحسب حدّ التنظيم مرة واحدة كل $k$ دفعة صغيرة (في الورقة $k = 16$) ونُكبّر وزنه بمقدار $k$ للتعويض. النتيجة انخفاض كبير في تكلفة التدريب مع تأثير يكاد يكون معدوماً على الجودة. الحدس وراء ذلك أن المُنظِّمات تُشكّل تضاريس فضاء التحسين، وهذه التضاريس تتغيّر ببطء — فلا حاجة لمسحها في كل خطوة، بل يكفي مرة كل 16 خطوة للإبقاء على التدريب في مساره.

طرح الباحثون سؤالاً عملياً: هل المُولِّد يستغل فعلاً كامل الدقّة المتاحة، أم أن معظم التفاصيل تتركّز في الترددات المنخفضة؟ لاختبار ذلك صمّموا أداة تشخيصية تُخفي نطاقات ترددية مختلفة وتقيس الأثر الإدراكي. النتيجة أن StyleGAN الأصلي لا يستثمر الدقّات العالية كما ينبغي — كثير من التفاصيل الدقيقة تُحسم فعلياً في الطبقات الأولى.

هذا الاكتشاف دفعهم إلى تجريب نماذج أكبر بقنوات أكثر، وأكّد أن التعديلات البنيوية في StyleGAN2 تُمكّن المُولِّد من توزيع التفاصيل بكفاءة أعلى عبر جميع مستويات الدقّة. النموذج النهائي حقّق FID يبلغ 2.84 على مجموعة FFHQ بدقّة 1024×1024 — قفزة واضحة مقارنة بـ 4.40 في StyleGAN الأصلي.

بفضل منظِّم طول المسار الذي يجعل المُولِّد حسن الاشتراط، تصبح عملية الإسقاط العكسي ممكنة وفعّالة — أي إيجاد الشفرة الكامنة $\mathbf{w}$ التي إذا مرّت عبر المُولِّد أعادت إنتاج صورة معيّنة بأعلى دقّة ممكنة. عملياً، يتمّ ذلك عبر أمثَلة $\mathbf{w}$ لتصغير الخسارة الإدراكية (LPIPS) بين الصورة المُولَّدة والصورة الهدف.

لهذا الإسقاط تطبيق عملي مهمّ وهو نسب الصورة إلى شبكة بعينها. الفكرة أنك إذا اشتبهت بأن صورة ما صادرة من شبكة توليدية تنافسية معيّنة، تُسقطها في الفضاء الكامن لتلك الشبكة. إن كان خطأ إعادة البناء منخفضاً فالصورة على الأرجح من تلك الشبكة. وإن كان مرتفعاً فالصورة إما حقيقية أو من مُولِّد آخر.

المُولِّد حسن الاشتراط في StyleGAN2 يجعل هذا الإسقاط أكثر موثوقية بكثير من StyleGAN، لأن سلاسة الفضاء الكامن تتيح للمُحسِّن إيجاد الشفرة الصحيحة دون أن يعلق في حدود دنيا محلية.

يحتفظ StyleGAN2 بالهيكل ثنائي المرحلة الموروث من StyleGAN. شبكة الربط $f$ تأخذ الدخل العشوائي $\mathbf{z} \sim \mathcal{N}(0, I)$ وتحوّله إلى شفرة كامنة وسيطة $\mathbf{w} \in \mathcal{W}$. ثم تتولى شبكة التخليق $g$ تحويل $\mathbf{w}$ إلى صورة، بحيث تتلقّى كل طبقة نمطها الخاص المشتق من $\mathbf{w}$ عبر تحويلات أفينية مُتعلَّمة.

التغييرات الجوهرية مقارنة بـ StyleGAN:

• إزالة التشكيل من الأوزان بدل تسوية AdaIN — النمط يُحقن عبر الأوزان لا عبر إحصائيات التنشيط.
• بنية وصلات التخطّي في المُولِّد والوصلات المتبقية في المُميِّز بدل التدريب التصاعدي — جميع مستويات الدقّة تُدرَّب في آن واحد.
• إضافة منظِّم طول المسار إلى دالة خسارة المُولِّد لضمان مقياس منتظم لمصفوفة يعقوبي.
• حساب المُنظِّمات كل 16 خطوة بدل كل خطوة — توفير حسابي دون تأثير على الجودة.
• نقل مدخلات الضجيج والانحيازات إلى خارج كتلة النمط — تبسيط طفيف للبنية.

إرث StyleGAN2 فيه مفارقة لافتة: رفع سقف الجودة إلى حدّ حفّز ظهور الصنف الذي أزاحه عن القمة — نماذج الانتشار. ومع ذلك، دروسه المعمارية لا تزال حاضرة. إزالة التشكيل من الأوزان أثّرت في تصميم التسوية في بنيات لاحقة. ومنظِّم طول المسار رسّخ أهمية أن يكون المُولِّد حسن الاشتراط. والمبدأ الأوسع — أن جودة الصورة يمكن رفعها بتشخيص كل تشوّه وعلاجه جراحياً بدل مجرّد تكبير النموذج — يبقى من أقوى الأفكار في مجال النمذجة التوليدية.