شبكة الخصومة التوليدية بمسافة واسرشتاين

في الشبكة التوليدية الأصلية، يعمل المُميِّز على تصنيف العيّنات إلى حقيقية أو مزيّفة، وهدف التدريب يعادل تقليل تبايُن جنسن-شانون بين التوزيع الحقيقي $P_r$ والتوزيع المُولَّد $P_g$.

الأمر يسير بشكل طبيعي ما دام التوزيعان يتقاطعان. لكن في الواقع، الصور تعيش على متشعِّبات منخفضة الأبعاد داخل فضاء بكسلات عالي الأبعاد — تخيّل سطحين رقيقين في فراغ شاسع، فرصة تقاطعهما شبه معدومة. حين تنفصل حوامل التوزيعين، ينغلق تبايُن جنسن-شانون عند قيمته القصوى $\log 2$ ولا يتحرّك، بغضّ النظر عن مدى قرب التوزيعين من بعضهما. عند هذه النقطة يحقّق المُميِّز دقة مثالية بلا عناء، لكن تدرّجاته لا تحمل أي معلومة اتجاهية، فيصبح المُولِّد أعمى تماماً.

هذا هو الجذر الحقيقي لمشاكل تدريب الشبكات التوليدية المعروفة: انهيار الأنماط، والتذبذب، والحاجة إلى ضبط دقيق لكل معامل فائق — كلها تنبع من مقياس مسافة يعمى تماماً في اللحظة التي يكون فيها التوجيه أشدّ ما يُحتاج إليه.

مسافة واسرشتاين من الرتبة الأولى — والمعروفة أيضاً بـمسافة ناقل الأرض — تطرح سؤالاً بسيطاً وبديهياً: لو تخيّلت التوزيع الحقيقي $P_r$ ككومة تراب والتوزيع المُولَّد $P_g$ كحفرة تريد ملأها، فما أقل جهد تحتاجه لنقل التراب بالمجرفة؟ التكلفة هنا = كمية التراب × المسافة المنقولة.

من الناحية الرياضية، ندرس جميع «خطط النقل» الممكنة $\gamma$ التي تحرّك الكتلة من $P_r$ إلى $P_g$، ونختار الخطة الأرخص. هذه هي مسألة النقل المثالي التي عرفها الرياضيون منذ مونج عام 1781.

النقطة المحورية هنا: على عكس تبايُن جنسن-شانون، تتغيّر مسافة ناقل الأرض بسلاسة واستمرار حتى حين لا يتقاطع التوزيعان إطلاقاً. كل خطوة صغيرة تقرّب $P_g$ من $P_r$ تُنقص المسافة بمقدار متناسب. هذه الاستمرارية تعني أن التدرّجات تحمل دائماً معلومات مفيدة — لا هضاب مسطّحة ولا نقاط عمياء يعلق عندها المُولِّد.

حساب خطة النقل المثالية مباشرةً أمر غير عملي حين تكون البيانات عالية الأبعاد. هنا يأتي دور ثنائية كانتوروفيتش-روبنشتاين التي تقلب المسألة رأساً على عقب: بدلاً من البحث في كل خطط النقل الممكنة، نبحث في مجموعة الدوال التي تحقق شرط ليبشيتز من الرتبة 1، ونأخذ الحدّ الأعلى للفرق بين التوقّعات.

ما معنى شرط ليبشيتز هنا؟ ببساطة، الدالة لا يُسمح لها أن تتغيّر أسرع من تغيّر مدخلاتها — رياضياً: $|f(x_1) - f(x_2)| \leq \|x_1 - x_2\|$ لكل $x_1, x_2$. تخيّلها كدالة ميلها لا يتجاوز 1 في أي نقطة. يمكنك تصوّر القيمة التي تُسندها لأي عيّنة كـ«درجة ارتفاع» — ومسافة واسرشتاين هي ببساطة الفارق في متوسط الارتفاع بين العيّنات الحقيقية والمُولَّدة.

من الناحية العملية، نمثّل الدالة $f$ بشبكة عصبية — وهي ما نسمّيه الناقد. الفرق الجوهري عن المُميِّز التقليدي أن الناقد يُخرج عدداً حقيقياً مفتوحاً بدون سيغمويد، يعبّر عن مدى «واقعية» المدخل. ولهذا جاءت تسمية «الناقد» بدل «المُميِّز»: لم يعد الدور تصنيفاً بل تقييماً.

حلقة تدريب WGAN تختلف عن الشبكة التوليدية التقليدية في ثلاث نقاط محورية:

• لا سيغمويد على الناقد. الناقد يُخرج درجة خام، وليس احتمالاً. كلما ارتفعت الدرجة، دلّ ذلك على واقعية أكبر. هذا المخرج المفتوح هو ما يتيح حساب مسافة واسرشتاين.

• قصّ الأوزان. بعد كل تحديث للناقد، تُحصر جميع الأوزان ضمن المجال $[-c, c]$ (عادةً $c = 0.01$). الفكرة بسيطة: تقييد الأوزان يمنع الدالة من الانحدار بميل حاد، وبالتالي يفرض شرط ليبشيتز بشكل تقريبي. الطريقة بدائية بلا شك — المؤلفون أنفسهم وصفوها بأنها «طريقة سيئة بوضوح لفرض قيد ليبشيتز» — لكنها أعطت نتائج قوية رغم بساطتها.

• تكرارات أكثر للناقد مقابل كل خطوة للمُولِّد. يُدرَّب الناقد $n_\text{critic}$ مرة (عادةً 5) مقابل تحديث واحد لـالمُولِّد. المنطق واضح: كلما كان الناقد أدقّ، كان تقديره لمسافة واسرشتاين أفضل، وبالتالي تحصل إشارة التدرّج الواصلة إلى المُولِّد على معلومات أغنى.

في الشبكة التوليدية التقليدية، يمرّر المُميِّز مخرجاته عبر سيغمويد ليُعطي احتمالاً — «هذه العيّنة حقيقية بنسبة 70%». وظيفته تصنيف. لكن حين يصبح واثقاً جداً، يتشبّع السيغمويد وتحدث مشكلة تلاشي التدرّجات.

ناقد WGAN يعمل بطريقة مختلفة: يُخرج درجة مفتوحة — «هذه الصورة تحصل على 3.7 على مقياس الواقعية». الجودة تُقاس على مقياس مستمر لا سقف له. إشارة التدريب هي ببساطة الفارق في متوسط الدرجات بين الدُفعة الحقيقية والمُولَّدة: المُولِّد يسعى لرفع درجاته، والناقد يسعى لتوسيع الفجوة بينهما.

هذا التقييم المفتوح هو بالضبط ما يجعل مسافة واسرشتاين قابلة للحساب ويمنع التدرّجات من التلاشي. الناقد يستطيع دائماً أن يزداد دقةً — لا يوجد سقف سيغمويد يخنق التدرّج.

قيد ليبشيتز هو الثمن الذي ندفعه مقابل استخدام ثنائية كانتوروفيتش-روبنشتاين. الناقد يجب ألا يغيّر مخرجاته بسرعة تفوق تغيّر مدخلاته — وإلا ينفجر الحدّ الأعلى في صيغة الثنائية ويفقد تقدير واسرشتاين أي معنى.

الحل الذي اقترحته WGAN هو قصّ الأوزان: بعد كل خطوة تحديث، تُحصر قيمة كل وزن $w$ ضمن المجال $[-c, c]$. الفكرة أن الأوزان المحدودة في شبكة تغذية أمامية تنتج ميلاً محدوداً، وهذا يفرض قيد ليبشيتز بشكل تقريبي.

لكن هذا الحل ليس بلا ثمن. إذا كانت $c$ صغيرة جداً، تتقلّص قدرة الناقد التعبيرية بشدة وقد تتلاشى التدرّجات. وإذا كانت $c$ كبيرة جداً، يصبح القيد بلا أثر فعلي ويفقد التدريب استقراره. المؤلفون أنفسهم أقرّوا بهذه المقايضة وأوضحوا أنهم اختاروا القصّ لبساطته لا لكونه الأفضل. هذا التحفّظ هو ما دفع مباشرةً إلى ظهور WGAN-GP في نفس العام، حيث استُبدل القصّ بعقوبة على معيار التدرّج — وهو حل أنظف من الناحية النظرية.

من أهم ما قدّمته WGAN على المستوى العملي هو منحنى خسارة يعكس فعلاً جودة العيّنات المُولَّدة. في الشبكات التوليدية التقليدية، خسارة المُولِّد تتذبذب بلا نمط واضح — لا تستطيع أن تعرف من الأرقام وحدها هل النموذج يتحسّن أم ينهار. كان الباحثون مضطرّين لفحص العيّنات بالعين، وهذا يجعل التجارب الكبيرة عملية شاقة.

لأن خسارة الناقد في WGAN تقرّب مسافة واسرشتاين، فإن انخفاضها يعني حقاً أن التوزيع المُولَّد يقترب من التوزيع الحقيقي. لأول مرة أصبح لدى مدرّبي الشبكات التوليدية مقياس يمكن رسمه والوثوق به واستخدامه لاختيار المعاملات الفائقة — تماماً كأي مهمة تعلّم مُوجَّه اعتيادية.

انهيار الأنماط يحدث حين يكتشف المُولِّد بضع مخرجات «آمنة» تنجح في خداع المُميِّز، فيتوقّف عن البحث عن أي شيء آخر. في الشبكات التوليدية التقليدية، تبايُن جنسن-شانون لا يعاقب على الأنماط المفقودة — لو أتقن المُولِّد 3 أنماط من أصل 10، لن يستطيع المُميِّز كشفها ولن يجد المُولِّد أي دافع لاستكشاف السبعة المتبقية.

مسافة ناقل الأرض تحلّ هذه المشكلة بطبيعتها، لأنها تقيس كمية الكتلة التي يجب نقلها. لو كدّس المُولِّد كل احتماله على 3 أنماط فقط، فإن تكلفة نقل الكتلة من الأنماط الحقيقية السبعة المتبقية إلى تلك الثلاثة ستكون باهظة. توزيع الاحتمال على جميع الأنماط يخفّض التكلفة. بمعنى آخر: المُولِّد يُكافَأ على التنوّع، لا على مجرد خداع الناقد.

حكاية WGAN في جوهرها حكاية سؤال أفضل. بدلاً من أن تسأل «هل تستطيع التمييز بين الحقيقي والمزيّف؟» اسأل «كم يكلّفك تحويل أحدهما إلى الآخر؟» هذا السؤال لا يخذلك أبداً — دائماً له إجابة مفيدة، والإجابات المفيدة تنتج تدرّجات مفيدة.