تعلُّم التمثيلات المنفصلة بالشبكات العصبية

المرمّز التلقائي المتغيّر (VAE) كان نقلة نوعية: الفكرة أن تضغط البيانات إلى فضاء كامن منخفض الأبعاد ثمّ تعيد بناءها منه. لكنّ المشكلة أنّ هذا الفضاء متصل — كلّ نقطة فيه صالحة، وتحريك بسيط في الموضع قد يُنتج مخرجات مختلفة جذرياً. ينتج عن ذلك مشكلتان أساسيتان:

• انهيار التوزيع الخلفي. حين يكون فاكّ الترميز قوياً بما يكفي — مثل PixelCNN — يتعلّم أن يولّد البيانات وحده دون الرجوع إلى الشفرة الكامنة إطلاقاً. عندها تُهمَل مخرجات المُرمِّز ويفقد الفضاء الكامن أيّ معنى — «ينهار» إلى التوزيع المسبق.

• عدم التوافق مع البيانات المنفصلة. اللغة والوحدات الصوتية وفئات الأشياء — جوانب كثيرة من العالم منفصلة في جوهرها. إجبار هذه البيانات على الدخول في فضاء متصل يهدر طاقة النموذج على ترميز النعومة بدلاً من ترميز المعنى.

يحتفظ VQ-VAE ببنية المُرمِّز وفاكّ الترميز الموجودة في VAE، لكنّه يُدخِل خطوة وسطى حاسمة: التكميم المتجهي. لنتتبّع المسار كاملاً:

1. المُرمِّز يستقبل المُدخل $x$ — سواء كان صورة أو مقطعاً صوتياً أو إطار فيديو — ويُخرج شبكة من المتجهات المتصلة $z_e(x)$، متجه واحد لكلّ موضع مكاني.

2. كلّ متجه يُقارَن بجميع عناصر دفتر الشفرات المُتعلَّم $e \in \mathbb{R}^{K \times D}$ — حيث $K$ عدد العناصر (مثلاً 512) و$D$ بُعد التضمين — ويُربَط بأقرب عنصر إليه. فهرس ذلك العنصر يصبح الشفرة المنفصلة لهذا الموضع.

3. فاكّ الترميز يستقبل متجهات دفتر الشفرات المقابلة $z_q(x)$ ويعيد بناء المُدخل الأصلي. بما أنّ فاكّ الترميز لا يرى إلا عناصر دفتر الشفرات، فهو مُضطر لاستخدامها — وبهذا يُزال انهيار التوزيع الخلفي من التصميم ذاته.

خطوة التكميم تبدو بسيطة لكنّ فيها تفصيلاً دقيقاً. الفكرة: بمعلومية مخرج المُرمِّز $z_e(x)$، نبحث عن العنصر $e_k$ في دفتر الشفرات الذي يُعطي أصغر مسافة إقليدية:

تخيّل العملية كـآلة فرز في مكتب بريد: كلّ طرد (مخرج المُرمِّز) ينزلق على سير ويسقط في أقرب صندوق (عنصر من دفتر الشفرات). هوية الطرد صارت الآن رقم الصندوق — أي شفرة منفصلة.

من الناحية الرياضية، التوزيع الخلفي $q(z|x)$ يصبح أحادياً (one-hot): احتمال 1 لأقرب عنصر في دفتر الشفرات و0 لكلّ ما عداه. وإذا كان التوزيع المسبق $p(z)$ منتظماً، فإنّ تباعد KL يصبح ثابتاً ($\log K$) ويمكن تجاهله أثناء التدريب — وهذا تبسيط كبير مقارنةً بنماذج VAE المعتادة.

العقبة هنا أنّ عملية البحث عن أقرب جار غير قابلة للاشتقاق — لا يمكن حساب تدرّج سلس عبر عملية $\arg\min$. وإن لم نستطع تمرير التدرّجات خلال خطوة التكميم عبر الانتشار العكسي، فإنّ المُرمِّز لن يتلقّى أيّ إشارة تعلّم من خطأ إعادة البناء. الحلّ الذي يقترحه VQ-VAE هو مُقدِّر المرور المباشر: في التمرير الأمامي نستخدم الشفرات المُكمَّمة $z_q(x)$ بشكلٍ عادي، أمّا في التمرير الخلفي فننسخ التدرّج مباشرةً من $z_q(x)$ إلى $z_e(x)$، وكأنّ التكميم لم يحدث.

لماذا ينجح هذا الأسلوب؟ لأنّ $z_e(x)$ و$z_q(x)$ يقعان في الفضاء ذاته بأبعاد $D$. التدرّج $\nabla_z L$ يُخبر المُرمِّز: «حرّك مخرجك في هذا الاتجاه لتقليل خطأ إعادة البناء.» وبما أنّ $z_e$ و$z_q$ جاران قريبان في الفضاء نفسه، فإنّ اتجاه التدرّج يظلّ ذا معنى لكليهما.

في VQ-VAE ثلاثة مكوّنات تحتاج إلى التعلّم، ومُقدِّر المرور المباشر وحده لا يكفي لتدريب متجهات دفتر الشفرات. الحلّ دالة خسارة أنيقة مكوّنة من ثلاثة حدود:

تخيّل الأمر كـمفاوضة بين ثلاثة أطراف:

• فاكّ الترميز يقول: «أحتاج شفرات تمكّنني من إعادة بناء البيانات بدقّة» ← وهذا دور خسارة إعادة البناء.
• دفتر الشفرات يقول: «سأحرّك عناصري نحو المواضع التي يشير إليها المُرمِّز» ← وهذا دور خسارة دفتر الشفرات (تشبه عمل خوارزمية k-means).
• المُرمِّز يقول: «ألتزم بألّا أبتعد كثيراً عن أقرب عنصر في دفتر الشفرات» ← وهذا دور خسارة الالتزام.

عامل إيقاف التدرّج sg[·] هو ما يضمن ألّا يتداخل الحدود مع بعضها: خسارة دفتر الشفرات تحرّك دفتر الشفرات فقط دون المساس بـالمُرمِّز، وخسارة الالتزام تقيّد المُرمِّز فقط دون المساس بـدفتر الشفرات.

بعد انتهاء تدريب VQ-VAE، يصبح الفضاء الكامن شبكة من الشفرات المنفصلة — أشبه بـ«صورة» منخفضة الدقّة مكوّنة من أرقام فهارس. السؤال الآن: كيف نولّد بيانات جديدة؟ نحتاج إلى تعلّم توزيع هذه الشفرات. يُدرَّب لهذا الغرض نموذج ذاتي الانحدار مستقلّ ليكون التوزيع المسبق:

• للصور: نموذج PixelCNN يعمل على الشبكة ثنائية البُعد من الشفرات الكامنة. ولأنّ الشبكة صغيرة (مثلاً 32×32 بدلاً من 128×128 بكسل)، يستطيع PixelCNN أن يلتقط البنية العامّة للصورة بكفاءة عالية.
• للصوت: نموذج WaveNet يعمل على السلسلة أحادية البُعد من الشفرات الكامنة. مع ضغط بمقدار 64 ضعفاً، يلتقط WaveNet أنماطاً بعيدة المدى على مستوى الوحدات الصوتية لا تظهر في الموجة الصوتية الخام.

نهج المرحلتين هذا — تعلّم دفتر شفرات مضغوط أولاً ثمّ نمذجة توزيع الشفرات — هو الوصفة ذاتها التي تبنّاها لاحقاً DALL·E وJukebox.

اختبرت الورقة VQ-VAE على ثلاثة أنماط من البيانات، وكلّ نمط كشف عن جانب مختلف من قوة الفضاءات الكامنة المنفصلة:

الصور (ImageNet بدقّة 128×128). المُرمِّز يضغط صوراً بأبعاد 128×128×3 إلى شبكة شفرات منفصلة بأبعاد 32×32×1 مع $K=512$ — أي تقليص بمعامل 42.6 في عدد البتات. الصور المُعاد بناؤها أكثر ضبابية بشكل طفيف فقط مقارنة بالأصل. نموذج PixelCNN بوصفه توزيعاً مسبقاً على شبكة 32×32 الكامنة يولّد صوراً كاملة متماسكة تحافظ على البنية العامّة.

الكلام (مجموعة VCTK، 109 متحدّثين). مع ضغط زمني بمقدار 64 ضعفاً، التقطت الشفرات الكامنة المحتوى على مستوى الوحدات الصوتية وتجاهلت خصائص المتحدّث كحدّة الصوت والجرس. الأمر المثير أنّه عند إعادة البناء بـهوية متحدّث مختلفة تُمرَّر لـفاكّ الترميز، تكون النتيجة تحويلاً للصوت: الكلمات نفسها بصوت شخص آخر. وحين ربطنا الشفرات المنفصلة الـ512 بالوحدات الصوتية حصلنا على دقّة 49.3% — مقابل 7.2% بالتخمين العشوائي — ممّا يُثبت أنّ النموذج اكتشف وحدات شبيهة بالأصوات اللغوية دون أيّ إشراف لغوي.

الفيديو (بيئة DeepMind Lab). يولّد VQ-VAE إطارات فيديو مشروطة بالأفعال بالكامل في الفضاء الكامن، ولا يحوّلها إلى بكسلات إلا في الخطوة الأخيرة. هذا يتفادى تراكم الأخطاء الناتج عن التوليد في فضاء البكسلات، ويحافظ على الجودة البصرية حتى في التسلسلات الطويلة.

إرث VQ-VAE يتلخّص في فكرة واحدة بسيطة وعميقة: أيّ إشارة متصلة يمكن تمثيلها بأمانة عالية كسلسلة من الرموز المنفصلة المأخوذة من قاموس مُتعلَّم. هذه الفكرة هي ما فتح الباب أمام نموذج «المحوِّل كمولّد شامل» — حيث البنية ذاتها التي تنمذج اللغة أصبحت قادرة على نمذجة الصور والموسيقى والفيديو وكلّ ما بعدها.