اختزال أبعاد البيانات بالشبكات العصبية

صورة رمادية بأبعاد 28×28 تتكون من 784 قيمة بكسل، أي أن كل صورة نقطةٌ في فضاء من 784 بُعدًا. لكن الأرقام المكتوبة يدويًّا لا تملأ هذا الفضاء الشاسع — بل تتوزع على سطح رقيق منحنٍ يُسمى المتشعِّب. الرقم «2» مثلاً لا يتنوع إلا بالميل والسُّمك وحجم الحلقة: ربما 5 إلى 10 درجات حرية فعلية، لا 784.

اختزال الأبعاد هو عملية إيجاد تلك الأرقام القليلة التي تكفي لوصف البيانات. أبعاد أقل تعني بحثًا أسرع، وتمثيلاً بصريًّا أوضح، وضجيجًا أقل، وأداء تصنيف أفضل في كثير من الأحيان. السؤال المحوري: كيف تجد الإسقاط الذي يحافظ على البنية الجوهرية؟

تحليل المكونات الرئيسية هو الأداة الكلاسيكية لاختزال الأبعاد: يبحث عن الاتجاهات التي يتباين فيها البيانات أكثر ثم يُسقِط عليها. لكن مشكلته الأساسية أنه لا يرى إلا اتجاهات مستوية — مستويات فائقة مستقيمة. فإذا كان المتشعِّب الذي تعيش عليه البيانات منحنيًا — وهو دائمًا كذلك في الواقع — يُضطر PCA إلى هدر أبعاد إضافية لمجرد تقريب ذلك الانحناء، فيصرف جزءًا من سعته على وصف الشكل بدل المحتوى.

ماذا لو درّبنا شبكة عصبية على مهمة تبدو بسيطة: انسخ مُدخلاتك إلى مُخرجاتك؟ المهمة سهلة لو كانت الشبكة واسعة بما يكفي، لكن الحيلة أننا نضع في منتصفها طبقة ضيّقة جدًّا — عنق زجاجة — عدد خلاياها العصبية أقل بكثير من أبعاد المُدخلات. لتمرير 784 بكسلًا عبر 30 خلية فقط ثم إعادة بناء الصورة على الطرف الآخر، تُجبر الشبكة على أن تكتشف بنفسها ما هو جوهري وما يمكن الاستغناء عنه — فتتعلّم تمثيلاً كامنًا مضغوطًا يحتفظ بجوهر البيانات. هذه الشبكة هي المرمّز التلقائي.

النصف الأول — من المُدخلات إلى عنق الزجاجة — هو المُرمِّز، ومهمته ضغط البيانات. النصف الثاني — من عنق الزجاجة إلى المُخرجات — هو فاكّ الترميز، ومهمته إعادة البناء. بعد التدريب، نتخلص من فاكّ الترميز ونحتفظ بالمُرمِّز وحده كأداة لاختزال الأبعاد.

مرمّز تلقائي بـطبقة خفية واحدة يعمل، لكنه لا يتفوق على PCA — لأن طبقة واحدة بتنشيط خطي هي رياضيًّا PCA نفسه. دوال التنشيط اللاخطية تساعد قليلاً، لكن القوة الحقيقية تأتي من العُمق: تكديس طبقات عديدة يتيح للشبكة بناء السمات بشكل هرمي — الطبقة الأولى تكتشف حوافًّا، والثانية تجمعها في أجزاء، والثالثة تُركّبها في أشكال كاملة.

لكن في 2006، كان تدريب شبكة من سبع طبقات بأوزان عشوائية لا ينجح أبدًا. التدرُّج يتلاشى كلما عاد عبر الطبقات: الطبقات الأخيرة تتعلم قليلاً أما الأولى فبالكاد تتحرك، فتستقر الشبكة في نهاية صغرى محلية سيئة لا يستطيع الانتشار العكسي الإفلات منها. هذه هي العقبة التي أبقت التعلم العميق عالقًا لعقدين كاملين.

الأداة التي استخدمها هينتون هي آلة بولتزمان المقيَّدة (RBM): شبكة ضحلة من طبقتين فقط — وحدات مرئية ترى البيانات، ووحدات خفية تكتشف أنماطًا فيها — بلا وصلات بين وحدات الطبقة الواحدة. تتعلم هذه الآلة نمذجة التوزيع الاحتمالي لمُدخلاتها بخوارزمية بسيطة تُسمى التباعد التبايني (CD): أعرِض عليها البيانات، دع الوحدات الخفية تستجيب، أعِد بناء البيانات من الحالة الخفية، ثم عدِّل الأوزان لتقريب إعادة البناء من الأصل. بهذه الطريقة تتعلم الوحدات الخفية سمات مفيدة دون الحاجة إلى بيانات مُعنونة — وهذا جوهر التعلم غير المُوجَّه.

حيلة هينتون: تكديس آلات RBM فوق بعضها. درّب أول RBM على البكسلات الخام فتتعلم كاشفات حواف وأنماط محلية. جمِّدها. خُذ مخرجات طبقتها الخفية واستخدمها «بيانات» لآلة RBM ثانية. جمِّدها. كرِّر. كل RBM تتعلم طبقة من سمات أعلى تجريدًا — دون تشغيل الانتشار العكسي عبر العمق الكامل أبدًا. هذه الاستراتيجية الجشعة طبقةً تلو الأخرى تمنح كل طبقة نقطة انطلاق ذات معنى قبل تجميع الشبكة، فتتجنب مشكلة تلاشي التدرُّج تمامًا في هذه المرحلة.

لماذا ينجح هذا الأسلوب؟ تخيّل أنك تستكشف مبنى متعدد الطوابق. بدل أن تدخل المبنى كله دفعة واحدة وتتوه في ممراته، تستكشف كل طابق بمفرده أولاً فتعرف أين الأبواب والممرات. وحين تربط الطوابق أخيرًا وتُطلق الانتشار العكسي عبر المبنى كله، تكون لديك خريطة تقريبية مسبقة — فلا تقع في ممر مسدود (نهاية صغرى محلية).

بعد التدريب المسبق لأربع آلات RBM (من 784 إلى 1000، ثم 1000 إلى 500، ثم 500 إلى 250، ثم 250 إلى 30)، تأتي الخطوة الحاسمة: «فَرْد» هذه الآلات المنفصلة في شبكة واحدة متصلة. أوزان كل RBM تصبح طبقة في المُرمِّز، ومنقولات تلك الأوزان تصبح الطبقات المقابلة في فاكّ الترميز:

المُرمِّز (أربع طبقات مُدرَّبة مسبقًا): 784 ← 1000 ← 500 ← 250 ← 30

فاكّ الترميز (المرآة): 30 ← 250 ← 500 ← 1000 ← 784

الآن الشبكة الكاملة ذات الثماني طبقات مُهيَّأة قرب حل جيد بدل نقطة عشوائية. الانتشار العكسي القياسي يُقلِّل خطأ إعادة البناء من طرف إلى طرف مُعدِّلًا كل الأوزان معًا. ولأن نقطة البداية قريبة من الحل، تصل الشبكة بسرعة إلى نهاية صغرى أفضل بكثير مما كانت لتبلغه بتهيئة عشوائية. هذا هو جوهر الضبط الدقيق.

البنية الرئيسية في الورقة لمجموعة MNIST تتكون من تسع طبقات. جانب المُرمِّز يضغط البيانات تدريجيًّا: طبقة المُدخلات تأخذ 784 قيمة بكسل (صورة 28×28)، ثم الطبقة الخفية الأولى تتوسع إلى 1000 خلية عصبية — وهذا التوسع مقصود لأن عددًا أكبر من الخلايا يتيح اكتشاف سمات متنوعة ومتداخلة كمُرشِّحات حواف باتجاهات مختلفة. بعدها تبدأ الطبقات بالتضييق: 500 خلية تجمع السمات البسيطة في أجزاء ذات معنى، ثم 250 تُركِّب الأجزاء في مفاهيم عالية المستوى، وأخيرًا طبقة الترميز تضغط كل شيء في 30 بُعدًا فقط — وهذا هو عنق الزجاجة الحقيقي الذي يحتفظ بـالتمثيل الكامن المضغوط.

جانب فاكّ الترميز يعكس المسار: 250 خلية تبدأ بتوسيع الرمز، ثم 500 تُصقل التفاصيل المكانية، ثم 1000 تستعيد مجموعة السمات الكاملة، وأخيرًا طبقة المُخرجات (784) تُنتج الصورة المُعاد بناؤها. الطبقة الأولى الواسعة تعمل كفريق استكشاف كبير يرصد كل الاحتمالات، ثم الطبقات التالية تنتقي الأهم وتتخلى عن الباقي.

اختبر هينتون على أربع مجموعات بيانات مختلفة: أرقام MNIST المكتوبة يدويًّا، وصور وجوه Olivetti، ومنحنيات عشوائية، ومستندات نصية مُمثَّلة بمتجهات حقيبة الكلمات. في كل تجربة بلا استثناء، تفوّق المرمّز التلقائي العميق برموز من 30 بُعدًا على PCA بالعدد نفسه من المكونات:

• MNIST: خطأ إعادة البناء انخفض إلى قرابة نصف خطأ PCA. الأرقام التي أعاد المرمّز التلقائي بناءها كانت حادة ومقروءة، بينما أرقام PCA بدت ضبابية مشوّهة لأن الإسقاط الخطي يخلط التفاصيل الدقيقة.
• الوجوه: التقط المرمّز التلقائي تغيّرات التعبير والإضاءة والوضعية التي مزجها PCA معًا، لأن تلك التغيرات علاقات منحنية لا تُوصف بخطوط مستقيمة.
• المستندات: عند الإسقاط إلى بُعدين للتمثيل البصري، شكّلت رموز المرمّز التلقائي عناقيد متمايزة لكل فئة — مقالات الرياضة انفصلت بوضوح عن الدين والسياسة — بينما أنتج PCA كتلاً متداخلة.

لم يكن التحسن هامشيًّا — بل كان واضحًا بالعين وهائلًا بالأرقام، مما أثبت أن اختزال الأبعاد العميق غير الخطي يستحق تعقيده الإضافي.

اختيار حجم عنق الزجاجة مفاضلة جوهرية. أبعاد قليلة جدًّا تعني ضياع معلومات مهمة فتصبح إعادة البناء ضبابية. أبعاد كثيرة جدًّا تعني أن الشبكة لا تضغط فعلاً بل تحفظ البيانات كما هي. اختار هينتون 30 بُعدًا لمجموعة MNIST كنقطة توازن: عدد يكفي لتمثيل فئات الأرقام العشر بتنوعات أسلوبها وميلها وسُمكها، لكنه أقل من الأبعاد الأصلية بنسبة تتجاوز 96%.

التجربة التالية تتيح لك تلمّس هذه المفاضلة مباشرةً. قلِّل عنق الزجاجة من 30 إلى 2 وراقب كيف تتراجع جودة الأرقام المُعاد بناؤها — لكن لاحظ أنها تبقى مميّزة لفترة أطول مما تتوقع، لأن الضغط غير الخطي أكفأ بكثير في التقاط الأنماط الجوهرية.

لم يقتصر هينتون على الصور — بل طبّق التقنية نفسها على مستندات نصية مُمثَّلة بمتجهات حقيبة الكلمات (2000 كلمة لكل مستند). بنية المرمّز التلقائي للنصوص كانت 2000 ← 500 ← 250 ← 125 ← 2 — أي ضغط مستند كامل إلى رقمين فقط يمكن رسمهما على مستوى.

عند استخدام رموز الفضاء الكامن لاسترجاع المستندات المتشابهة، تفوّق المرمّز التلقائي على التحليل الدلالي الكامن (LSA — وهو في جوهره PCA مُطبَّق على النصوص) في منحنيات الدقة والاستدعاء. عند التمثيل البصري ثنائي الأبعاد، شكّلت رموز المرمّز التلقائي عناقيد واضحة لكل فئة — مقالات الرياضة تجمعت بعيدًا عن مقالات الدين والسياسة — بينما أنتج PCA كتلاً متداخلة يصعب تمييزها.

هذا يعني أن الرموز غير الخطية التقطت بنية دلالية عميقة أغفلتها الطرق الخطية: مستندات تتناول مواضيع متقاربة انتهت قريبة من بعضها في فضاء الرموز حتى لو اختلفت مفرداتها السطحية، لأن المرمّز التلقائي تعلّم العلاقات المفاهيمية لا مجرد تطابق الكلمات.

من أبرز خصائص المرمّز التلقائي المُدرَّب جيدًا أن فضاءه الكامن سلس ومتصل: النقاط القريبة في فضاء الرموز تُنتج مخرجات متشابهة. فلو أخذت رمز الرقم «3» وحرّكته ببطء نحو رمز الرقم «8»، تتحول الصور المفكوكة تدريجيًّا عبر أشكال وسيطة معقولة — لا تقفز فجأة من رقم لآخر.

سبب هذه السلاسة أن الشبكة مُضطرة لتمرير جميع أمثلة التدريب عبر عنق الزجاجة نفسه ذي الـ30 بُعدًا. لتقليل الخطأ الكلي، ترتّب الرموز بحيث تُعيَّن المُدخلات المتشابهة إلى نقاط قريبة — فيتشكّل متشعِّب في فضاء الرموز يعكس بنية متشعِّب البيانات الحقيقية. رموز PCA سلسة أيضًا لكن فقط في الاتجاهات المستوية؛ أما متشعِّب المرمّز التلقائي فيستطيع الانحناء ليطابق هندسة البيانات الفعلية، ممّا يجعله أكفأ بكثير في استغلال كل بُعد.