تقدير الأرجحية القصوى من بيانات ناقصة عبر خوارزمية EM

في الإحصاء، حين تملك بيانات مرصودة $X$ ونموذجاً بمعلمات $\theta$، فأنت تبحث عن قيم المعلمات التي تجعل هذه البيانات أكثر احتمالاً — وهذا ما يُعرف بـتقدير الأرجحية القصوى. حين تكون البيانات كاملة، يكون لهذا التقدير في الغالب حلّ مغلق مباشر.

لكن ماذا لو كان جزء من البيانات مفقوداً؟ مفهوم «البيانات المفقودة» أوسع مما يبدو، فهو يشمل:

• قيم مفقودة فعلاً — مرضى انسحبوا من تجربة سريرية، أو قراءات مستشعرات دون عتبة الكشف، أو استبيانات لم تُستكمل.
• متغيرات كامنة — كتسميات العنقَدة في نماذج المزيج، أو الحالات الخفية في النماذج التتابعية، أو الأسباب غير المرصودة في الرسوم البيانية السببية.
• بيانات مبتورة — تعرف مثلاً أن مكوِّناً صمد أكثر من 1,000 ساعة، لكنك لا تعرف متى تعطّل بالضبط.

في كل هذه الحالات تتضمن الأرجحية المرصودة $L(\theta | X)$ جمعاً أو تكاملاً على جميع القيم الممكنة للبيانات المفقودة — وهذا الجمع أو التكامل يكون في العادة مستعصياً تحليلياً.

الفكرة وراء الخوارزمية بسيطة جداً: إذا كانت البيانات الكاملة ستجعل المسألة سهلة، فـتصرَّف كأنك تملكها. استخدم أفضل تقدير حالي لـ $\theta$ لتحديد ما يُرجَّح أن تكونه البيانات المفقودة — لا بملء قيمة واحدة، بل بحساب التوزيع الاحتمالي الكامل لتلك البيانات. ثم استخدم هذا التقدير الاحتمالي لتحديث $\theta$ وكأن البيانات لم تكن ناقصة أصلاً.

لنُحدّد الرموز:

• $X$ = البيانات المرصودة (الناقصة)
• $Z$ = البيانات المفقودة (غير المرصودة)
• $(X, Z)$ = البيانات الكاملة
• $\theta$ = المعلمات المُراد تقديرها

لوغاريتم الأرجحية للبيانات الكاملة $\log p(X, Z | \theta)$ عادةً سهل التعامل معه. المشكلة أن $Z$ مجهول. الخوارزمية تتغلب على ذلك بالعمل مع لوغاريتم الأرجحية المتوقع للبيانات الكاملة — أي حساب التوقع على $Z$ بالنظر إلى ما نرصده فعلاً وتقديرنا الحالي للمعلمات.

تتناوب الخوارزمية بين خطوتين، انطلاقاً من تخمين مبدئي $\theta^{(0)}$:

خطوة التوقع (E): احسب القيمة المتوقعة للوغاريتم الأرجحية على البيانات الكاملة، مع التعامل مع البيانات المفقودة بوصفها متغيرات عشوائية يتحدّد توزيعها بحسب المعلمات الحالية $\theta^{(t)}$ والبيانات المرصودة $X$. نُعرِّف ما يُسمى الدالة Q:

يمكنك تخيُّل خطوة التوقع وكأنها تسأل: «بحسب ما أعرفه الآن عن المعلمات، ما أفضل تصوُّر يمكنني بناؤه عن البيانات المفقودة؟» الأمر أشبه بمُحقّق يُعيد تركيب مسرح جريمة من أدلة جزئية — لا يختار سيناريو واحداً بل يُوزّع الاحتمالات على كل السيناريوهات الممكنة.

خطوة التعظيم (M): أوجد المعلمات التي تُعظِّم الدالة Q:

تخيّل خطوة التعظيم كطالب أكمل الفراغات في ورقة إجابة ناقصة (هذا ما فعلته خطوة التوقع)، ثم أعاد حساب أفضل نموذج بناءً على الورقة المكتملة. ولأن التعامل مع بيانات كاملة أسهل بكثير، فإن هذه الخطوة غالباً مباشرة.

الخطوتان تُغذّيان بعضهما: معلمات أفضل تُعطيك صورة أدق عن البيانات المفقودة، وصورة أدق عن البيانات المفقودة تُعطيك معلمات أفضل. تستمر هذه الحلقة حتى تستقر المعلمات ويتحقق التقارب.

النتيجة النظرية المركزية في الورقة هي خاصية الصعود الرتيب: كل تكرار يضمن أن لوغاريتم الأرجحية المرصودة لا يتناقص:

يقوم البرهان على تفكيك لوغاريتم الأرجحية إلى حدّين: الدالة Q وحدّ الإنتروبيا. خطوة التوقع تُثبِّت حدّ الإنتروبيا عند أقصى قيمه (باستخدام التوزيع البَعدي الحقيقي للبيانات المفقودة)، وخطوة التعظيم ترفع Q. المحصلة: لوغاريتم الأرجحية المرصودة لا بدّ أن يرتفع.

لكن هناك تحفّظ مهم: التقارب يكون نحو قيمة عظمى محلية أو نقطة سرج، وليس بالضرورة نحو القيمة العظمى المطلقة. كذلك فإن سرعة التقارب خطية — أي متناسبة مع نسبة المعلومات المفقودة. فإذا كان الجزء الأكبر من البيانات مفقوداً، قد يكون التقارب بطيئاً للغاية. لذا يُشغّل الممارسون الخوارزمية عادةً من عدة نقاط بداية عشوائية ويختارون الحل الذي يُعطي أعلى أرجحية.

أشهر تطبيق للخوارزمية هو ملاءمة نموذج المزيج الغاوسي. تخيّل نقاطاً مبعثرة في فضاء تبدو وكأنها تتجمّع في عناقيد، لكنك لا تعرف لأيّ عنقود تنتمي كل نقطة. تفترض أن البيانات جاءت من $K$ توزيعات غاوسية، لكل منها متوسطه $\mu_k$ ومصفوفة تباينه المشترك $\Sigma_k$ ووزنه في المزيج $\pi_k$.

المتغير الكامن هنا لكل نقطة $x_i$ هو تسمية العنقود $z_i \in \{1, \ldots, K\}$ — أي أنك لا تعرف أيّ غاوسي ولَّد كل نقطة. هذا يجعل تقدير الأرجحية القصوى المباشر مستعصياً. لكن الخوارزمية تحلّه بأناقة:

خطوة التوقع — لكل نقطة $x_i$ وكل عنقود $k$، احسب المسؤولية $\gamma_{ik}$: وهي الاحتمال البَعدي بأن العنقود $k$ هو الذي ولَّد النقطة $x_i$ بالنظر إلى المعلمات الحالية. هذا ببساطة تطبيق لـمبرهنة بايز:

خطوة التعظيم — حدّث معلمات كل عنقود مستخدماً المسؤوليات كأوزان: المتوسط الجديد للعنقود $k$ هو المتوسط المرجَّح بالمسؤوليات لجميع النقاط، والتباين المشترك الجديد هو التباين المرجَّح بالمسؤوليات كذلك. أما أوزان المزيج فتُحدَّث لتساوي متوسط المسؤولية لكل عنقود.

تتكرر الخطوتان، وتبدأ المسؤوليات ضبابية ثم تصير أوضح كلما تمايزت العناقيد. شاهد ذلك مباشرةً في المحاكاة أدناه.

المحرّك الرياضي وراء تقارب الخوارزمية هو تفكيك لوغاريتم الأرجحية المرصودة. لأيّ توزيع $q(Z)$ على البيانات المفقودة يمكننا كتابة:

يكشف هذا التفكيك أمراً جوهرياً: الخوارزمية لا تُحسِّن الأرجحية المرصودة مباشرةً، بل تبني حداً أدنى يلامس الأرجحية عند المعلمات الحالية ثم تُعظِّمه. خطوة التوقع تُحكِم هذا الحدّ (تجعله يلامس الأرجحية)، وخطوة التعظيم تدفعه إلى أعلى — وبالتالي تدفع الأرجحية معه. هذا المبدأ نفسه ألهم لاحقاً الاستدلال المتغيري و**الحد الأدنى للدليل (ELBO)** في التعلم الآلي البايزي الحديث.

عبقرية الورقة في أنها كشفت أن عشرات الخوارزميات المتفرقة ما هي إلا حالات خاصة من مبدأ واحد. تظهر الخوارزمية كلما احتوى النموذج على متغيرات كامنة:

• نماذج ماركوف المخفية — خوارزمية باوم-ويلش المستخدمة في التعرّف على الكلام هي حالة خاصة من EM على حالات خفية متتابعة.
• التصوير الطبي — خوارزميات إعادة بناء صور PET وCT تستخدم EM لاستنتاج شدّة الانبعاث من عدّادات كاشفات ناقصة.
• نماذج الموضوعات — نموذج تخصيص ديريكليه الكامن يستخدم نسخة متغيّرية من الخوارزمية لاكتشاف الموضوعات في المستندات.
• الرؤية الحاسوبية — تجزئة الصور وتقدير الحركة والمطابقة الفراغية كلها تعتمد على أشكال مختلفة من EM.
• التعلم العميق — المرمِّز التلقائي المتغيّر يُعظّم حداً أدنى على لوغاريتم الأرجحية، وهو امتداد مباشر لإطار الدالة Q.

القاعدة العامة: كلما كانت لديك بيانات مرصودة وبنية مخفية، وكانت المسألة مع البيانات الكاملة أسهل منها مع الناقصة، فإن EM هي الأداة الطبيعية.

نقاط القوة:

• البساطة. كل خطوة تملك عادةً حلاً مغلقاً في نماذج العائلة الأُسِّية.
• الاستقرار العددي. لا تحتاج إلى عكس مصفوفة معلومات فيشر الكاملة (بخلاف طريقة نيوتن-رافسون).
• التقارب الرتيب. الأرجحية لا تتناقص أبداً — إما أن تتقدّم أو تثبت.
• التعامل الطبيعي مع القيود. معلمات مثل أوزان المزيج (التي يجب أن يكون مجموعها 1) تنبثق تلقائياً من خطوة التعظيم.

المحدوديات:

• القمم المحلية. لا بدّ من تشغيل الخوارزمية عدة مرات بتهيئات مختلفة.
• التقارب الخطي. أبطأ من طرق نيوتن بالقرب من الحل، خصوصاً حين تكون نسبة المعلومات المفقودة مرتفعة.
• غياب الأخطاء المعيارية. الخوارزمية تُنتج تقديرات نقطية فقط؛ للحصول على مقاييس عدم اليقين تحتاج إلى خوارزمية SEM التكميلية أو أساليب إعادة المعاينة.
• اختيار النموذج. الخوارزمية تفترض أنك حدّدت النموذج الصحيح مسبقاً (مثل عدد مكونات المزيج $K$). اختيار النموذج يتطلب أدوات منفصلة كمعيار BIC أو التحقق المتقاطع.

لم يخترع ديمبستر ولايرد وروبين أيّاً من هذه التطبيقات — فكثير منها وُجد بشكل مستقل. إسهامهم الحقيقي كان في إدراك أن كل هذه الخوارزميات تتشارك المبدأ نفسه، ثم أثبتوا أنه يعمل وأعطوه اسماً. هذا التوحيد هو ما جعل بالإمكان تطبيق الإطار فوراً على أي مسألة جديدة فيها بيانات ناقصة.