تعلم التمثيلات2017متوسط9 دقيقة قراءة

beta-VAE: تعلُّم المفاهيم البصرية الأساسية بإطار تغايُري مُقيَّد

beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework

Higgins, I. · Matthey, L. · Pal, A. · Burgess, C. P. · Glorot, X. · Botvinick, M. M. · Mohamed, S. · Lerchner, A. — ICLR

المشكلة

حين يتعلّم VAE تمثيلاً كامناً للصور، ينتهي به الأمر عادةً بأبعاد متشابكة: بُعد واحد يخلط بين الموضع واللون والشكل والحجم دفعة واحدة، ولا سبيل لفصل هذه العوامل بدون إشراف بشري. محاولات سابقة مثل InfoGAN عانت من عدم الاستقرار أثناء ، وDC-IGN احتاج تسميات جزئية. باختصار، لم تكن هناك طريقة بسيطة ومستقرة تكتشف العوامل المستقلة في الصور دون أي إشراف.

الإسهام

الفكرة بسيطة: اضرب حدّ في دالة هدف VAE بمعامل β > 1. هذا الضغط الإضافي يُجبر التوزيع اللاحق على الاقتراب من التوزيع القَبْلي المُعامَلي، فلا يجد مفرّاً من تعلّم تمثيل يفصل كل عامل على حدة. إضافة إلى ذلك، تقترح الورقة مقياساً كمّياً: درِّب مصنّفاً خطياً بسيطاً ليتعرّف على العامل الذي تغيّر بين صورتين من فرق فقط. النتيجة: تفوّق واضح على VAE وInfoGAN وDC-IGN عبر مجموعات بيانات CelebA والكراسي والوجوه ثلاثية الأبعاد.

الأثر

فتح beta-VAE الباب أمام تعلّم التمثيلات المفكوكة بوصفه اتجاهاً بحثياً عملياً، وألهم سلسلة من الأساليب اللاحقة — beta-TCVAE وFactorVAE وDIP-VAE — كلها تبني على فكرة تحليل حدّ ELBO بطرق أدقّ. مقياسه أصبح معياراً مرجعياً في المجال. والأثر الأعمق هو أن فكرة بسيطة — معامل فائق واحد يوازن بين وضوح الصورة وقابلية التفسير — امتدّ تأثيرها إلى النمذجة التوليدية والتعلّم المعزّز والاكتشاف العلمي.

تخيّل لوحة مزج صوتي فيها عشرات المنزلقات. في العادي، كل منزلق يحرّك عدة آلات دفعة واحدة — حرِّك «المنزلق 3» فترتفع الطبول ويتغيّر مقام الجيتار وتتسارع الأصوات الغنائية. لا تستطيع لمس شيء دون أن يتأثر كل شيء آخر.

beta-VAE يُعيد ضبط اللوحة بحيث يتحكّم كل منزلق في آلة واحدة فقط. حرِّك «المنزلق 3» ولن تتغيّر إلا الطبول. ربّما يفقد الصوت بعض صفائه (جودة إعادة البناء تنخفض)، لكنّ كل منزلق أصبح له معنى واضح يفهمه الإنسان. هذا هو جوهر : كل بُعد في يلتقط عاملاً مستقلاً واحداً.

لماذا يهمّنا فك التشابك؟

الصور في العالم الحقيقي تتولّد من عوامل مستقلة: الموضع شيء، والحجم شيء، وزاوية الدوران شيء، واللون شيء. الجيد ينبغي أن يعكس هذا الاستقلال — بُعد واحد لكل عامل. حين نحصل على تمثيل مفكوك فعلاً تتحقّق عدة فوائد عملية:

: تستطيع أن تفهم ماذا يمثّل كل بُعد بالضبط.
القابلية للتحكّم: غيِّر عاملاً واحداً دون أن تمسّ البقية.
: إذا تعلّم النموذج مفهوم «الدوران» من صور الكراسي، يمكنه نقل هذا المفهوم إلى صور السيارات.
العدالة والأمان: عزل الصفات الحسّاسة يتيح لك تدقيق ما تعلّمه النموذج بالفعل.

المشكلة أن التلقائي المتغايِر العادي لا يحقّق ذلك. رموزه الكامنة تخلط العوامل ببعضها بحرّية، لأن لا يُحفّز الفصل بين الأبعاد — كل ما يشترطه أن يتقارب الإجمالي مع .

افتح في المختبر

جرِّب سحب منزلق في الفضاء المتشابك (يسار) ولاحظ كيف تتغيّر صفات عديدة في آنٍ واحد. ثم انتقل إلى الفضاء المفكوك (يمين) — ستجد أن كل منزلق يتحكّم في عامل واحد فقط.

تستيقظ التجربة عند وصولك…

من VAE إلى beta-VAE: مُعامِل فائق واحد يغيّر كل شيء

لنبدأ من دالة هدف المُرمِّز التلقائي المتغايِر — أي الحد الأدنى للدليل (ELBO):

$\mathcal{L}_{\text{VAE}} = \mathbb{E}_{q_\phi(\mathbf{z}|\mathbf{x})} [\log p_\theta(\mathbf{x}|\mathbf{z})] - D_{\text{KL}}(q_\phi(\mathbf{z}|\mathbf{x}) \| p(\mathbf{z}))$

في هذه الدالة حدّان يتنافسان. الأول هو إعادة البناء: إلى أي حدّ يستطيع إعادة بناء المُدخل الأصلي من الرمز الكامن؟ والثاني هو تباعد KL: ما مدى قرب التوزيع اللاحق الذي يُنتجه المُرمِّز من التوزيع القَبْلي $p(\mathbf{z}) = \mathcal{N}(\mathbf{0}, \mathbf{I})$ ؟ في VAE العادي يتساوى وزن هذين الحدّين تماماً.

التعديل الذي يُدخله beta-VAE بسيط جداً: اضرب حدّ KL في $\beta > 1$ .

\mathcal{L}_{\beta\text{-VAE}} = \mathbb{E}_{q_\phi(\mathbf{z}|\mathbf{x})} [\log p_\theta(\mathbf{x}|\mathbf{z})] - \beta \, D_{\text{KL}}(q_\phi(\mathbf{z}|\mathbf{x}) \| p(\mathbf{z}))

دالة هدف beta-VAE — مُعامِل β واحد يغيّر قواعد اللعبة — حين β = 1 نعود إلى VAE العادي. لكن حين β > 1 يزداد وزن حدّ KL: النموذج يُعاقَب بقسوة أكبر إن ابتعد عن التوزيع القَبْلي المُعامَلي N(0, I)، وبالتالي يُضطر كل بُعد كامن إلى أن يكون مستقلاً إحصائياً عن بقية الأبعاد.

فكّر في $\beta$ وكأنه يُضيِّق أنبوباً تمرّ منه المعلومات. التوزيع القَبْلي $\mathcal{N}(\mathbf{0}, \mathbf{I})$ أبعاده مستقلة بحكم تعريفه. حين نرفع الضغط لمطابقة هذا التوزيع ( $\beta > 1$ )، نُجبر المُرمِّز على أن يستخدم سعة قناته المحدودة بأقصى كفاءة. والنقطة الجوهرية: الطريقة الأكفأ لترميز عوامل مستقلة هي بالضرورة ترميز مستقل — بُعد واحد لكل عامل. أي معلومة لا تبرّر وجودها تُحذَف تلقائياً.

لكن هناك ثمن: كلما ارتفع $\beta$ قلّ التأثير النسبي لحدّ إعادة البناء، فتخرج الصور أقل حدّة. هذه هي المفاضلة الجوهرية في صميم beta-VAE: كلما زاد فك التشابك، تراجعت جودة إعادة البناء.

افتح في المختبر

حرِّك β من 1 إلى 250 وراقب المفاضلة بنفسك: كلما ارتفع β انفصلت العوامل بوضوح أكبر، لكن إعادة البناء تفقد حدّتها.

تستيقظ التجربة عند وصولك…

الحَدْس: لماذا يُفكِّك β الأعلى التشابكَ؟

لنفهم الآلية خطوة بخطوة. التوزيع القَبْلي $p(\mathbf{z}) = \mathcal{N}(\mathbf{0}, \mathbf{I})$ هو بطبيعته حاصل ضرب توزيعات غاوسية مستقلة — أي أن أبعاده مفكوكة تعريفاً. حين $\beta = 1$ تكون عقوبة تباعد KL خفيفة، فيتسامح المُرمِّز مع ارتباط الأبعاد ببعضها ما دام فاكّ الترميز قادراً على فك هذا الارتباط لاحقاً. لكن حين $\beta \gg 1$ تصبح كلفة الارتباط باهظة جداً، ولا يبقى أمام المُرمِّز خيار إلا إنتاج توزيع لاحق بأبعاد مستقلة إحصائياً. وهنا يحدث شيء مثير:

كل بُعد يتخصّص في عامل واحد فقط، لأن تخصيص بُعدين لنفس العامل هدرٌ لسعة ثمينة.
الأبعاد التي لا تلتقط أي عامل مفيد تُدفَع نحو التوزيع القَبْلي (ضجيج غاوسي وحدوي) وتنطفئ عملياً.
المُرمِّز يتعلّم الحد الأدنى من المعلومات الضروري — والعوامل المستقلة هي أكثر طريقة قابلة للضغط لتمثيل بيانات مُولَّدة بعوامل مستقلة.

هذا مرتبط ارتباطاً وثيقاً بنظرية المعلومات: رفع $\beta$ يُقلّص المعدّل (كمّية البتات المرسلة عبر ) مع الحفاظ على التشوّه (جودة إعادة البناء) قدر الإمكان — وهذه هي مفاضلة المعدّل والتشوّه (Rate-Distortion Trade-off).

افتح في المختبر

راقب ما يحدث حين ترفع β: الأبعاد الكامنة المترابطة تندمج تدريجياً حتى ينتهي كل بُعد بعزل عامل واحد فقط.

تستيقظ التجربة عند وصولك…

قياس فك التشابك: مقياس هيغينز

الاكتفاء بمراقبة عبور الفضاء الكامن بصرياً أمر ذاتي ويعتمد على حكم المراقب. لذلك تقترح الورقة بروتوكولاً كمّياً ذكياً لقياس فك التشابك:

الخطوة 1: ابدأ بمحاكٍ تتحكّم فيه بالعوامل الحقيقية (مثلاً dSprites حيث تتحكّم بالشكل والحجم وزاوية الدوران والموضع).

الخطوة 2: اختر عاملاً $k$ وولِّد أزواج صور لا تختلف إلا في العامل $k$ — كل شيء آخر مثبّت.

الخطوة 3: مرِّر الصورتين عبر المُرمِّز المُدرَّب واحسب الفرق المطلق بين متّجهَيهما الكامنين: $|\mathbf{z}_1 - \mathbf{z}_2|$ .

الخطوة 4: درِّب مصنّفاً خطياً بسيطاً (منخفض ، أي غير قادر بذاته على فك التشابك) ليتنبّأ بالعامل $k$ الذي تغيّر، من فرق المتّجه الكامن فقط.

الخطوة 5: هذا المصنّف هي درجة فك التشابك. إذا كان التمثيل مفكوكاً فعلاً، فسيكون الفرق محصوراً في بُعد واحد، وعندها يصبح بديهياً حتى لنموذج خطي بسيط.

افتح في المختبر

تابع خطوات البروتوكول واحدة تلو الأخرى: لاحظ كيف يجعل التمثيل المفكوك مهمة التنبؤ بالعامل سهلة حتى لمصنّف خطي بسيط.

تستيقظ التجربة عند وصولك…

المفاضلة: فك التشابك مقابل جودة إعادة البناء

المفاضلة المركزية في beta-VAE تظهر مباشرة في . كلما رفعتَ $\beta$ تضخّم حدّ تباعد KL ودفع التوزيع اللاحق بقوة نحو القَبْلي — لكن ذلك يأتي على حساب حدّ إعادة البناء. فاكّ الترميز يستقبل رموزاً كامنة تحمل معلومات أقل، فتفقد الصور تفاصيلها الدقيقة.

عند $\beta = 1$ (VAE عادي) تحصل على إعادة بناء حادّة لكن الأبعاد الكامنة تبقى متشابكة. وعند $\beta = 250$ (القيمة التي استُخدمت في الورقة على CelebA) تنفصل عوامل مثل الابتسامة وزاوية الوجه ولون البشرة بوضوح، لكن الصور المُعاد بناؤها تصبح ضبابية بشكل ملحوظ.

اختيار قيمة $\beta$ المناسبة يعتمد على طبيعة ، ويتطلّب عادةً إما فحصاً بصرياً لعبور الفضاء الكامن أو تقييماً كمّياً بمقياس فك التشابك على بيانات ذات عوامل معروفة.

افتح في المختبر

قارن بين إعادة البناء عند قيم β مختلفة: الصور أوضح عند β=1 لكنها أكثر فكّاً للتشابك عند β=50+.

تستيقظ التجربة عند وصولك…

النتائج والمقارنات

قارنت الورقة beta-VAE بثلاثة أساليب أخرى عبر عدة مجموعات بيانات:

VAE ( $\beta = 1$ ): تمثيلات كامنة متشابكة بطبيعتها.
InfoGAN: يعتمد على أسلوب تنافسي لفك التشابك، لكنه غير مستقر في التدريب وحسّاس جداً لاختيارات البنية.
DC-IGN: يحتاج تسميات جزئية (شبه مُوجَّه)، وهذا يُقيّد استخدامه عملياً.

على CelebA (صور وجوه)، استطاع beta-VAE بقيمة $\beta = 250$ أن يفصل عوامل مثل زاوية الرأس والابتسامة والغُرّة بوضوح، بينما عبور فضاء VAE العادي أظهر تغيّرات متداخلة. على كراسي ثلاثية الأبعاد عزل الدوران والعرض ونمط الأرجل. وعلى وجوه ثلاثية الأبعاد فصل اتجاه الإضاءة عن شكل الوجه.

من الناحية الكمّية، حقّق beta-VAE أعلى درجة في مقياس فك التشابك على كل مجموعات البيانات المُختبَرة. والأهم من ذلك أنه مستقر أثناء التدريب (بخلاف InfoGAN الذي يعاني من ) ولا يحتاج أي تسميات (بخلاف DC-IGN).

افتح في المختبر

قارن بين عبور الفضاء الكامن في VAE (β=1) وbeta-VAE (β=50). كل صف يتحرّك على بُعد كامن واحد — لاحظ كيف لا يُغيِّر beta-VAE إلا صفة واحدة في كل مرة.

تستيقظ التجربة عند وصولك…

الفكرة ذاتها في شيفرة برمجية

دالة خسارة beta-VAE — التعديل الوحيد على VAE العاديpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import torch
import torch.nn.functional as F

def beta_vae_loss(x, x_recon, mu, logvar, beta=4.0):
    """
    x:       الصورة الأصلية المُدخلة          (batch, C, H, W)
    x_recon: إعادة بناء فاكّ الترميز          (batch, C, H, W)
    mu:      المتوسط من المُرمِّز              (batch, latent_dim)
    logvar:  لوغاريتم التباين من المُرمِّز     (batch, latent_dim)
    beta:    ضغط فك التشابك (1 = VAE عادي)
    """
    # إعادة البناء: ما مدى جودة إعادة بناء الصورة؟
    recon_loss = F.mse_loss(x_recon, x, reduction='sum') / x.size(0)

    # تباعد KL: ما مدى بُعد التوزيع اللاحق عن N(0, I)؟
    # صيغة مغلقة للتوزيع الغاوسي القطري:
    kl_loss = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp()) / x.size(0)

    # التغيير الوحيد: اضرب KL في beta
    return recon_loss + beta * kl_loss

لماذا كان مهمّاً: إرث beta-VAE

مقبض واحد فتح اتجاهاً بحثياً كاملاً

أثبت beta-VAE أن تعلّم تمثيلات مفكوكة ممكن فعلاً بتعديل بسيط على دالة الهدف. هذه النتيجة وحدها فتحت الباب أمام موجة كاملة من الأبحاث:

beta-TCVAE (تشِن وآخرون، 2018): فكّك حدّ تباعد KL إلى ثلاثة مكوّنات واستهدف الارتباط الكلّي (Total Correlation) تحديداً.
FactorVAE (كيم ومنيه، 2018): أضاف يعاقب الارتباط الكلّي مباشرةً.
DIP-VAE (كومار وآخرون، 2017): عاقب العناصر غير القطرية في مصفوفة لدفع الأبعاد نحو الاستقلال.
لوكاتيلّو وآخرون (2019): أثبتوا نظرياً أن فك التشابك بلا إشراف مستحيل دون انحياز استقرائي — ممّا عمّق فهمنا لأسباب نجاح beta-VAE.

المفاضلة بين السعة والاستقلال التي بلورها beta-VAE لا تزال الفكرة المحورية في كل أسلوب أتى بعده.

2013
VAE (كينغما ووِلِنغ)
قدّم VAE: حوِّل المُدخل إلى توزيع احتمالي، خُذ عيّنة باستخدام حيلة إعادة المَعلَمة، ثم أعِد بناء المُدخل. فتح الباب لتدريب النماذج التوليدية العميقة بالانتشار العكسي.
2016
InfoGAN (تشِن وآخرون)
وظّف تعظيم المعلومات المتبادلة داخل شبكة GAN لتعلّم رموز مفكوكة. النتائج كانت مبهرة لكن التدريب كان معروفاً بعدم استقراره.
2017
beta-VAE (هذه الورقة)
تغيير واحد فقط في دالة هدف VAE — بسيط ومستقر ولا يحتاج إشرافاً. فتح الباب أمام فك التشابك كاتجاه بحثي عملي.
2018
beta-TCVAE و FactorVAE
فكّكا حدّ KL واستهدفا الارتباط الكلّي مباشرة، فحصلا على فك تشابك أفضل مع خسارة أقل في جودة إعادة البناء.
2019
لوكاتيلّو وآخرون: نتيجة الاستحالة
أثبتوا نظرياً أن فك التشابك بلا إشراف مستحيل دون انحيازات استقرائية، ممّا عمّق الفهم النظري لسبب نجاح beta-VAE رغم بساطته.

المرجعHiggins, Matthey, Pal, Burgess, Glorot, Botvinick, Mohamed, Lerchner. beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. ICLR, 2017.

مصطلحات هذه الورقة

المرمّز التلقائي المتغير الاحتماليVariational Autoencoder (VAE)
التمثيل المُفكَّكDisentangled Representation
الحد الأدنى للدليلEvidence Lower Bound (ELBO)
تباعد KLKL Divergence
المتغير الكامنLatent Variable
خطأ إعادة البناءReconstruction Error
حيلة إعادة البَرمَتَةReparameterization Trick
الفضاء الكامنLatent Space
العوامل الكامنةLatent Factors
القابلية للتفسيرInterpretability