نهج تعظيم المعلومات للفصل الأعمى وفك الالتفاف الأعمى

لنبدأ بالصورة الكلاسيكية: عندنا $n$ إشارة مصدرية مستقلة $s_1, s_2, \ldots, s_n$ — فكّر فيها كأصوات أشخاص في حفلة. هذه الإشارات تُخلط عبر مصفوفة مزج مجهولة $A$ بحجم $n \times n$، فينتج ما نرصده فعلياً: $\mathbf{x} = A\mathbf{s}$. كل مستشعر (ميكروفون) يلتقط تركيبة خطية مختلفة من جميع المصادر.

هدف الفصل الأعمى للمصادر هو إيجاد مصفوفة فكّ مزج $W$ تحقق $\mathbf{u} = W\mathbf{x} \approx \mathbf{s}$ — بمعنى أننا نريد استعادة الإشارات الأصلية دون أن نعرف شيئاً عن $A$ ولا عن طبيعة توزيعات المصادر. كلمة «أعمى» هنا تعني أن كل ما نملكه هو المزائج نفسها.

تحليل المكوّنات الرئيسية يستطيع إزالة الارتباط الخطي بين المزائج، لكنه يعتمد فقط على إحصاءات الرتبة الثانية (التباينات المشتركة). المشكلة أنّ إشارتين قد تكونان غير مرتبطتين خطياً لكنهما تظلان معتمدتين إحصائياً — خذ مثلاً إشارة ومربّعها: الارتباط الخطي بينهما صفر، لكنّ الثانية محددة تماماً بالأولى. الفصل الحقيقي يحتاج استقلالاً إحصائياً يشمل جميع العزوم من كل الرتب.

لتوضيح الفرق، تأمّل إشارتين مصدريتين بتوزيع منتظم — بياناتهما تملأ مربعاً. حين نمزجهما، يتحول المربع إلى متوازي أضلاع بفعل التدوير والتمديد. تحليل المكوّنات الرئيسية يبحث عن محاور التباين الأعظم — يحاول «إلغاء التدوير» — لكنّ النتيجة تبقى مربعاً مائلاً وليس المربع الأصلي. السبب أنّه يرى انتشار البيانات لكنه لا يرى الحواف التي تحمل بنية من رتب أعلى.

تحليل المكوّنات المستقلة يتجاوز ذلك: يبحث عن محاور تكون البيانات عليها ليست غير مرتبطة فحسب، بل مستقلة إحصائياً. في حالة المصادر المنتظمة، هذا يعني إيجاد المحاور الموازية لحواف متوازي الأضلاع — وهي بالضبط اتجاهات المصادر الأصلية. الفرق الجوهري: تحليل المكوّنات الرئيسية يعتمد على مصفوفة التباين المشترك فقط (الرتبة الثانية)، بينما تحليل المكوّنات المستقلة يستثمر الشكل الكامل لـلتوزيع بكل رتبه.

الفكرة المحورية عند بِل وسيجنوفسكي هي اكتشاف رابط غير متوقع بين هدفين يبدوان مختلفين تماماً:

الهدف الأول — تعظيم المعلومات: مرّر المزائج عبر شبكة عصبية $\mathbf{y} = g(W\mathbf{x})$، حيث $g$ دالة لاخطية محدودة المدى (دالة سيغمويد)، ثم عظِّم الإنتروبيا المشتركة $H(\mathbf{y})$ للمخرجات. هذا هو مبدأ لينسكر: ادفع أكبر قدر من المعلومات عبر الشبكة.

الهدف الثاني — الاستقلال: اجعل المخرجات مستقلة إحصائياً، أي قلّل المعلومات المتبادلة بينها إلى أدنى حدّ.

النتيجة الجوهرية: بما أنّ $g$ ثابتة وقابلة للعكس، فإنّ تعظيم $H(\mathbf{y})$ يكافئ تقليل المعلومات المتبادلة بين مركّبات $\mathbf{u} = W\mathbf{x}$ (المخرجات الخطية قبل تطبيق اللاخطية). بكلام آخر: الشبكة تعثر على المكوّنات المستقلة تلقائياً بمجرّد أن تحاول أن تكون قناة نقل معلومات فعّالة. اللاخطية هي ما يمنح الشبكة القدرة على رؤية الإحصاءات من الرتب العليا — بدونها نبقى في نطاق تحليل المكوّنات الرئيسية.

الشبكة تعمل على مرحلتين. أولاً: فكّ المزج الخطي $\mathbf{u} = W\mathbf{x}$. ثانياً: تطبيق اللاخطية على كل عنصر: $y_i = g(u_i) = \frac{1}{1 + e^{-u_i}}$ (دالة سيغمويد اللوجستية).

يمكن التعبير عن الإنتروبيا المشتركة للمخرج $\mathbf{y}$ باستخدام صيغة تغيير المتغيرات لكثافات الاحتمال. وبعد التبسيط، نحصل على مُتدرِّج $H(\mathbf{y})$ بالنسبة لـ $W$، الذي يُعطي قاعدة تعلّم أنيقة بشكل مدهش.

لنفهم كل حدّ على حدة. الحدّ $W^{-T}$ يحمل معنى هندسياً واضحاً: يمنع محدّد المصفوفة $W$ من الانكماش نحو الصفر. لو حدث ذلك، لانهارت جميع المخرجات إلى خط واحد وضاعت المعلومات. تخيّله كقوة طاردة تُبقي فضاء المخرجات مفتوحاً ومنتشراً.

الحدّ $\varphi(\mathbf{u})\mathbf{x}^T$ هو قلب الابتكار: دالة النقاط $\varphi(u_i) = 1 - 2g(u_i)$ تقيس مدى بُعد كل مخرج عن التوزيع المنتظم بعد مروره عبر سيغمويد. هذا الحدّ يدفع كل $u_i$ نحو التوزيع الذي يجعل $y_i$ منتظماً — ولا يتحقق ذلك إلا حين يحتوي $u_i$ على مصدر مستقل واحد بالضبط. هنا بالتحديد نتجاوز ما يقدّمه تحليل المكوّنات الرئيسية: اللاخطية تفتح لنا نافذة على عزوم الرتب الأعلى.

لماذا دالة سيغمويد بالذات؟ السبب أنّ سيغمويد اللوجستية $g(u) = 1/(1+e^{-u})$ هي في الحقيقة دالة التوزيع التراكمي للتوزيع اللوجستي. حين تنجح الشبكة في عزل أحد المصادر، فإنها تدفع $u_i$ ليطابق ذلك المصدر. تمرير $u_i$ عبر سيغمويد بعد ذلك يحوّله إلى توزيع منتظم على $[0,1]$. لماذا؟ لأنّ هناك نتيجة معروفة في الإحصاء: تطبيق دالة التوزيع التراكمي لأي متغير عشوائي على نفسه يُنتج دائماً توزيعاً منتظماً. والتوزيع المنتظم يملك أقصى إنتروبيا بين المتغيرات محدودة المدى — وهذا تحديداً ما تسعى الخوارزمية لتحقيقه.

لكن لهذا ثمن: سيغمويد تفترض ضمنياً أنّ المصادر لها شكل يشبه التوزيع اللوجستي (فوق غاوسي: ذروة حادة في المنتصف وأذيال ثقيلة). أما المصادر دون الغاوسية — كالتوزيع المنتظم الذي يكون أكثر تسطّحاً من الغاوسي — فإنّ الخوارزمية الأصلية لا تتعامل معها جيداً. ولهذا السبب طوّرها لي وجيرولامي وسيجنوفسكي (1999) لاحقاً بإضافة دوال لاخطية قابلة للتبديل حسب طبيعة المصدر.

المعلومات المتبادلة بين المخرجات يمكن تفكيكها كالتالي:

$I(u_1; u_2; \ldots; u_n) = \sum_i H(u_i) - H(\mathbf{u})$

هذا ببساطة الفرق بين مجموع الإنتروبيات الفردية والإنتروبيا المشتركة. الاستقلال يتحقق حين $I = 0$، أي حين تتساوى الإنتروبيا المشتركة مع مجموع الإنتروبيات الهامشية — بمعنى أنّ المخرجات لا تحمل أي معلومات مكررة عن بعضها البعض.

الآن، لأنّ سيغمويد ثابتة وقابلة للعكس، فإنّ $H(\mathbf{y})$ و$H(\mathbf{u})$ يختلفان فقط بمقدار يعتمد على $W$ من خلال لوغاريتم اليعقوبي. تعظيم $H(\mathbf{y})$ بالنسبة لـ $W$ يعظّم في الوقت نفسه $H(\mathbf{u})$ — وبما أنّ الإنتروبيات الهامشية $H(u_i)$ محدودة بمدى سيغمويد، فإنّ المعلومات المتبادلة $I$ تُدفع نحو الصفر. النتيجة أنّ الخوارزمية تحقق الاستقلال كـناتج ثانوي لمحاولتها نقل المعلومات بأقصى كفاءة.

أثبت بِل وسيجنوفسكي أنّ المبدأ نفسه يمتد ليشمل فكّ الالتفاف الأعمى: أي إزالة أصداء وارتدادات مجهولة من إشارة. الفرق هنا أنّ الإشارة لا تُمزج عبر مصفوفة لحظية $A$، بل تُلتف مع مرشّح مجهول (استجابة نبضية). وبالتالي يتحول فكّ المزج نفسه إلى مرشّح — مجموعة اتصالات مرجَّحة بتأخيرات زمنية — وقاعدة تعظيم الإنتروبيا ذاتها تضبط أوزان هذا المرشّح.

الصورة الذهنية بسيطة: في الفصل الأعمى، كل مستشعر يستقبل مزيجاً مكانياً — تراكب عدة مصادر في لحظة واحدة. في فكّ الالتفاف الأعمى، مستشعر واحد يستقبل مزيجاً زمنياً — تراكب الإشارة مع نسخ متأخرة من نفسها (أي الأصداء). كلاهما مزج خطي، لكنّ أحدهما عبر القنوات والآخر عبر الزمن — وتعظيم المعلومات يتعامل مع الحالتين بالآلية نفسها.

فيما يلي خوارزمية Infomax ICA الكاملة، من المزائج الخام وصولاً إلى المصادر المُستعادة. ما يلفت النظر هو بساطة الخوارزمية مقارنة بقوة ما تحققه.

Infomax ICA لم تكن مجرد حلّ لمسألة في معالجة الإشارات — بل فتحت ممراً بين نظرية المعلومات والشبكات العصبية وعلم الأعصاب. ما أثبتته الورقة هو أنّ شبكة عصبية تستطيع اكتشاف بنية خفية في البيانات بمجرد اتباع هدف نظري-معلوماتي بحت — بلا تسميات، وبلا معلّم، وبلا أي معرفة بآلية توليد البيانات. هذا هو جوهر التعلم غير المُوجَّه.

ألهم هذا النهج مباشرةً الترميز المتناثر لأولشوزن وفيلد (1996)، الذي طبّق مبادئ مشابهة على الصور الطبيعية ووجد أنّ السمات المُتعلَّمة تُشبه حقول الاستقبال الانتقائية للاتجاه في عصبونات القشرة البصرية الأولية — كأنّ الدماغ نفسه يُجري عملية تشبه تحليل المكوّنات المستقلة.

اليوم، Infomax ICA موجودة في كل مكتبة أدوات رئيسية في علم الأعصاب (EEGLAB وMNE-Python وFieldTrip) لفصل إشارات الدماغ عن التشوّشات، وهي خطوة معالجة أولية معيارية في الاتصالات لفصل إشارات الراديو المتراكبة. لكنّ الإرث الأعمق لهذه الورقة يتجاوز التطبيقات: أثبتت أنّ نظرية المعلومات تقدّم هدفاً مبدئياً لـالتعلم غير المُوجَّه — فكرة نجد صداها اليوم في المُرمِّزات التلقائية التبايُنية والتعلّم التبايُني وتعلّم التمثيلات الحديث.