تحليل الانحدار للمتتاليات الثنائية

في الانحدار الخطي التقليدي تتنبأ بمخرج مستمر $y$ انطلاقاً من مُدخل $x$: حيث $y = \alpha + \beta x$. لكن ماذا لو كانت $y$ لا تأخذ سوى 0 أو 1 — مريض يعيش أو يموت، قطعة سليمة أو معيبة؟

حين تمرر خطاً مستقيماً على أصفار وآحاد، سيتجاوز الخط حتماً القيمة 1 أو يهبط دون 0 عند القيم المتطرفة لـ$x$. هذه التنبؤات لا معنى لها كاحتمالات. ما تحتاجه هو نموذج مخرجاته دائماً احتمال صحيح — بين 0 و1.

استخدم كوكس الدالة اللوجستية (المعروفة أيضاً بدالة سيجمويد) لتحويل أي عدد حقيقي إلى احتمال يقع بين 0 و1. الفكرة الجوهرية تمرّ بثلاث مراحل متتالية:

المرحلة الأولى — القيمة الخطية. نحسب مجموعاً مُرجّحاً $z = \alpha + \beta x$ تماماً كما في الانحدار العادي. هذه القيمة يمكن أن تمتد من $-\infty$ إلى $+\infty$.

المرحلة الثانية — ضغط سيجمويد. ندخل $z$ في دالة سيجمويد ذات الشكل S:‏ $\sigma(z) = 1 / (1 + e^{-z})$. هذه الدالة «تضغط» أي عدد حقيقي ليقع داخل الفترة $(0, 1)$.

المرحلة الثالثة — التفسير كاحتمال. المخرج $\sigma(z)$ هو تقدير النموذج للقيمة $P(Y = 1 \mid x)$ — أي احتمال أن تكون النتيجة 1 بمعلومية المُدخل $x$.

هذه المراحل الثلاث هي جوهر الانحدار اللوجستي، وتأثيرها يتجاوز الإحصاء بكثير: فدالة سيجمويد أصبحت لاحقاً دالة التنشيط المعتمدة في الشبكات العصبية، وهذا التسلسل بأكمله هو ما يؤديه كل مصنّف ثنائي في التعلم العميق عند طبقة المخرجات.

دالة سيجمويد تحوّل القيمة الخطية إلى احتمال. ومعكوسها — دالة اللوجيت — يحوّل الاحتمال عائداً إلى قيمة خطية. هذه النظرة المعكوسة هي ما يمنح الانحدار اللوجستي أناقته وقابليته للتفسير.

لنبدأ من أرجحية الحدث: إذا كان الاحتمال $p$، فالأرجحية هي $p / (1 - p)$. مثلاً احتمال 0.75 يعني أرجحية 3:1 — أي أن الحدث مرجّح ثلاث مرات أكثر من عدم حدوثه. بعد ذلك نأخذ اللوغاريتم الطبيعي للأرجحية فنحصل على لوغاريتم الأرجحية: $\text{logit}(p) = \ln(p / (1 - p))$.

الملاحظة الجوهرية عند كوكس: لوجيت الاحتمال هو دالة خطية في المتغيرات التفسيرية. هذه أبسط علاقة يمكن تصوّرها بين المدخلات والمخرج المُحوَّل — وهذا تحديداً سبب تسمية النموذج بالانحدار اللوجستي (من log-odds).

عند هذه النقطة يصبح تفسير المعاملات بديهياً: $\beta$ هو مقدار التغيّر في لوغاريتم الأرجحية لكل وحدة تغيّر في $x$. إذا كانت $\beta$ موجبة فزيادة $x$ تجعل الحدث أكثر ترجيحاً، وإذا كانت سالبة فزيادة $x$ تُضعف احتمال وقوعه.

في الانحدار العادي نقلّل مربعات الأخطاء. لكن مع النتائج الثنائية، الخطأ التربيعي ليس المقياس المناسب — فالتنبؤ بقيمة 0.99 لنتيجة فعلية تساوي 1 يجب أن يُكافأ أكثر من التنبؤ بقيمة 0.51.

استخدم كوكس تقدير الأرجحية القصوى: أوجد قيم $\alpha$ و$\beta$ التي تجعل البيانات المُلاحظة أكثر ترجيحاً وفق النموذج. لكل نقطة بيانات: إذا كانت $y_i = 1$ فإسهام النموذج هو $p_i$، وإذا كانت $y_i = 0$ فإسهامه هو $1 - p_i$. الأرجحية الكلية هي حاصل ضرب كل هذه الإسهامات، والهدف تعظيمها.

عملياً نعظّم لوغاريتم الأرجحية — مجموع بدلاً من حاصل ضرب — لأن الجمع أكثر استقراراً عددياً وأسهل في الاشتقاق. هذا اللوغاريتم هو بالضبط سالب ما يُسمّى في التعلم العميق الحديث الإنتروبيا التقاطعية الثنائية. كل شبكة عصبية دُرّبت على التصنيف تحلّ عملياً مسألة الأمثَلة ذاتها التي صاغها كوكس عام 1958.

من أبرز إسهامات كوكس تحديده الإحصاءات الكافية للانحدار اللوجستي. الإحصاء الكافي هو ملخّص للبيانات يلتقط كامل المعلومات التي تحملها عن معلمة معينة — بمعنى أنك تستطيع الاستغناء عن البيانات الخام تماماً دون أن تفقد أي معلومة.

بيّن كوكس أن النموذج اللوجستي يملك الإحصاءات الكافية ذاتها الموجودة في النموذج الخطي الكلاسيكي: $Y = \sum y_i$ (العدد الإجمالي لقيم 1) و$X = \sum y_i x_i$ (مجموع مُرجّح لقيم المتغير التفسيري). $Y$ يختزل كل المعلومات عن نقطة التقاطع $\alpha$، و$X$ يختزل كل المعلومات عن الميل $\beta$.

هذا فتح الباب لتقنية فعّالة: الاستدلال الشرطي. لتقدير $\beta$ دون الحاجة إلى التعامل مع المعلمة المُزعجة $\alpha$، يكفي أن نشترط على القيمة الملاحظة لـ$Y$. بذلك نتخلّص من $\alpha$ كلياً دون أي تقريب. هذا الأسلوب هو النظير الثنائي لاختبار فيشر الدقيق في جداول التوافق.

يمتد النموذج بشكل طبيعي ليشمل عدة متغيرات تفسيرية. مع $p$ من المتغيرات $x_1, \ldots, x_p$ تصبح القيمة الخطية:

$z = \alpha + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p$

كل $\beta_j$ يقيس تأثير المتغير $j$ على لوغاريتم الأرجحية مع تثبيت بقية المتغيرات. المنطق هو ذاته في الانحدار الخطي المتعدد، لكنه يعمل في فضاء لوغاريتم الأرجحية بدلاً من فضاء القيم المستمرة.

بالترميز الحديث نكتب $z = \mathbf{w}^\top \mathbf{x} + b$ — وهو الجداء النقطي مع الانحياز، أي اللبنة الأساسية في كل طبقة من طبقات الشبكة العصبية. طبقة المخرجات في أي مصنّف ثنائي ضمن التعلم العميق هي هذه المعادلة متبوعة بدالة سيجمويد — أي حرفياً نموذج الانحدار اللوجستي.

الدالة اللوجستية نفسها تعود إلى فيرهولست (1845) الذي استخدمها لنمذجة النمو السكاني. ثم طبّقها بيركسون (1944) في التحليل الحيوي لتقدير الجرعة الدوائية التي يستجيب عندها 50% من الأفراد. لكن ورقة كوكس عام 1958 هي التي جمعت هذه الخيوط في إطار انحدار عام مع استدلال صارم، فحوّلت النموذج اللوجستي إلى أداة صالحة لـأي مسألة ذات نتائج ثنائية.