دليل تعليمي في نماذج ماركوف المخفية وتطبيقاتها في التعرّف على الكلام

سلسلة ماركوف نظام ينتقل بين مجموعة محدودة من الحالات، وقاعدته الأساسية أن الحالة التالية تعتمد فقط على الحالة الحالية ولا علاقة لها بما سبق. هذه الخاصية — التي نسمّيها «انعدام الذاكرة» — هي ما يجعل التحليل الرياضي ممكناً وسهل التتبّع.

لنأخذ مثالاً بسيطاً: نموذج طقس. طقس اليوم (مُشمس أو ماطر) يتحكّم في طقس الغد. إذا كان اليوم مُشمساً فاحتمال أن يكون الغد مُشمساً 70% وأن يكون ماطراً 30%. هذه الاحتمالات نُنظّمها في مصفوفة الانتقال $A$، حيث يُعبّر العنصر $a_{ij}$ عن احتمال الانتقال من الحالة $i$ إلى الحالة $j$.

السؤال الآن: ماذا لو لم نستطع رؤية الطقس مباشرةً، وكل ما نلاحظه هو أن زميلنا يحمل مظلة أو لا يحملها؟ هنا يصبح الطقس حالة مخفية، والمظلة تصبح المُشاهَدة. هذه هي الفكرة المحورية في نماذج ماركوف المخفية: الحالات لا تُرى، وعلينا أن نستنتجها من إشارات غير مباشرة ومُشوَّشة.

يتحدّد نموذج ماركوف المخفي بالكامل من خلال خمسة مكوّنات، نختصرها بالرمز $\lambda = (N, M, A, B, \pi)$:

• $N$ — عدد الحالات المخفية. في تطبيقات الكلام مثلاً، كل حالة قد تمثّل مقطعاً صوتياً معيّناً. نرمز للحالات بـ $S = \{S_1, S_2, \ldots, S_N\}$.
• $M$ — عدد رموز المُشاهَدة الممكنة. لو كمّمنا إشارة الكلام إلى دفتر ترميز من 256 مُدخلاً، يصبح $M = 256$.
• $A$ — مصفوفة احتمالات الانتقال بين الحالات. العنصر $a_{ij} = P(q_{t+1} = S_j \mid q_t = S_i)$ يُعبّر عن احتمال أن ينتقل النظام من الحالة $i$ إلى الحالة $j$.
• $B$ — توزيع احتمالات المُشاهَدة (الإصدار). العنصر $b_j(k) = P(O_t = v_k \mid q_t = S_j)$ يُحدّد احتمال أن تُصدِر الحالة $S_j$ الرمز $v_k$. تخيّل أن لكل حالة «بصمة» مميّزة تُحدّد أي المُشاهَدات تميل لإنتاجها.
• $\pi$ — التوزيع الابتدائي. $\pi_i = P(q_1 = S_i)$ هو احتمال أن يبدأ النظام من الحالة $i$.

بنى رابينر أدوات نماذج ماركوف المخفية كلها حول ثلاثة أسئلة محورية. أي تطبيق — سواء في التعرّف على الكلام أو اكتشاف الجينات — يرتبط بواحدة أو أكثر من هذه المسائل:

المسألة الأولى — التقييم: إذا كان لدينا نموذج $\lambda$ وتسلسل مُشاهَدات $O$، فما قيمة $P(O \mid \lambda)$؟ ببساطة: ما مدى توافق هذا النموذج مع هذه المُشاهَدات؟ نستخدم هذا لمقارنة عدة نماذج واختيار الأنسب.

المسألة الثانية — فكّ الترميز: إذا عرفنا $\lambda$ و$O$، فما أرجح تسلسل حالات مخفية؟ أي: ماذا كان يجري خلف الكواليس على الأرجح؟ هذه مسألة الاستدلال — الكشف عن القصة المخفية وراء المُشاهَدات.

المسألة الثالثة — التعلّم: إذا كانت لدينا تسلسلات مُشاهَدات فقط، فكيف نضبط $\lambda = (A, B, \pi)$ بحيث نُعظِّم $P(O \mid \lambda)$؟ أي: كيف ندرّب النموذج من البيانات؟ هذه مسألة الأمثَلة.

لو أردنا حساب $P(O \mid \lambda)$ بطريقة القوة الغاشمة، سنحتاج إلى المرور على جميع تسلسلات الحالات الممكنة — وعددها $N^T$ حيث $T$ عدد الخطوات الزمنية و$N$ عدد الحالات. لو $N = 5$ و$T = 100$، فالنتيجة $5^{100} \approx 10^{70}$ مسار: رقم فلكي لا يمكن حسابه.

خوارزمية الأمام تحلّ هذه المسألة بزمن $O(N^2 T)$ بفضل البرمجة الديناميكية. الفكرة بسيطة وأنيقة: نُعرِّف متغير الأمام $\alpha_t(i) = P(O_1, O_2, \ldots, O_t, q_t = S_i \mid \lambda)$، وهو احتمال أن نرى أول $t$ مُشاهَدة وأن نكون في الحالة $i$ عند اللحظة $t$. ثم نبنيه تدريجياً:

1. التهيئة: $\alpha_1(i) = \pi_i \cdot b_i(O_1)$ — نضرب احتمال البدء في احتمال الإصدار.
2. التكرار: $\alpha_{t+1}(j) = \left[\sum_{i=1}^{N} \alpha_t(i) \cdot a_{ij}\right] \cdot b_j(O_{t+1})$ — نجمع كل المسارات التي تصل إلى الحالة $j$، ثم نضرب الناتج في احتمال الإصدار.
3. الإنهاء: $P(O \mid \lambda) = \sum_{i=1}^{N} \alpha_T(i)$.

تخيّل الأمر كشبكة أنابيب يتدفق فيها ماء: عند كل خطوة زمنية، كمية الماء التي تصل إلى الحالة $j$ هي مجموع ما يأتي من كل الأنابيب المُغذية، مضروباً في مدى احتمالية أن تُصدِر $j$ الصوت الذي لاحظناه.

خوارزمية الخلف هي المرآة المقابلة: نُعرِّف $\beta_t(i) = P(O_{t+1}, \ldots, O_T \mid q_t = S_i, \lambda)$، أي احتمال المُشاهَدات المستقبلية إذا علمنا أننا في الحالة $i$ الآن. هذا المتغيّر يُحسب بشكل عكسي من الزمن $T$ رجوعاً إلى الزمن 1. وحده لا يكفي لحل مسألة التقييم، لكن حين ندمجه مع $\alpha$ نحصل على الاحتمال اللاحق للتواجد في أي حالة عند أي لحظة: $\gamma_t(i) = P(q_t = S_i \mid O, \lambda) = \frac{\alpha_t(i) \beta_t(i)}{P(O \mid \lambda)}$. هذا الاحتمال اللاحق هو الأداة الأساسية التي تحتاجها خوارزمية التعلّم (المسألة الثالثة).

خوارزمية الأمام تجمع جميع المسارات — وهذا ممتاز للتقييم، لكنه لا يُخبرنا أي مسار بالتحديد هو الأرجح. خوارزمية فيتربي تُشبهها في البنية تماماً، لكنها تستبدل الجمع بعملية الأقصى (max):

$\delta_t(j) = \max_{i} \left[\delta_{t-1}(i) \cdot a_{ij}\right] \cdot b_j(O_t)$

بدلاً من جمع كل المسارات الواردة، نحتفظ فقط بـالأفضل — ونُسجّل مؤشراً مرجعياً $\psi_t(j) = \arg\max_i [\delta_{t-1}(i) \cdot a_{ij}]$ حتى نتمكن من تتبّع المسار الفائز عند الوصول إلى النهاية.

تخيّل الأمر كسباق تتابع: عند كل نقطة تسليم، كل عدّاء (حالة) يحفظ فقط مَن سلّمه العصا بأسرع وقت. حين نصل إلى خط النهاية، نرجع للخلف عبر سلسلة التسليمات لنعرف الفريق الأسرع.

كيف نجد أفضل معاملات $(A, B, \pi)$ وليس لدينا سوى تسلسلات مُشاهَدات دون أي تسميات للحالات؟ هذه مسألة كلاسيكية تُعرف بمسألة البيانات الناقصة، وخوارزمية باوم-وِلش — وهي حالة خاصة من خوارزمية تعظيم التوقع (EM) — تحلّها بأسلوب تكراري:

خطوة التوقع (E-step): نأخذ النموذج الحالي $\lambda$ ونحسب العدد المُتوقَّع لمرات استخدام كل انتقال $i \to j$، وكذلك العدد المُتوقَّع لمرات إصدار كل رمز $k$ من الحالة $j$. هذه القيم المُتوقَّعة نستخرجها من الاحتمالات اللاحقة $\gamma$ و$\xi$، وكلتاهما تعتمد على متغيّري الأمام ($\alpha$) والخلف ($\beta$).

خطوة التعظيم (M-step): نُعيد تقدير $A$ و$B$ و$\pi$ بتطبيع تلك الأعداد المُتوقَّعة وتحويلها إلى احتمالات.

نُكرّر خطوتَي E وM حتى تتقارب قيمة الاحتمالية $P(O \mid \lambda)$. وقد أثبت باوم وزملاؤه ضماناً مهماً: $P(O \mid \bar{\lambda}) \geq P(O \mid \lambda)$ — أي أن كل دورة إما تُحسّن الاحتمالية أو تُبقيها كما هي. بمعنى آخر، النموذج يصعد سطح الاحتمالية بشكل رتيب حتى يصل إلى نهاية عظمى محلية.

الكلام بطبيعته يسير في اتجاه واحد عبر الزمن — لا نقفز من نهاية الكلمة إلى بدايتها. هذا القيد الزمني يقودنا إلى النماذج اليسارية-اليمينية (أو نماذج باكِس)، حيث لا يُسمح لمؤشر الحالة إلا بالبقاء في مكانه أو التقدّم: $a_{ij} = 0$ حين $j < i$. يستطيع النظام أن يمكث في حالة معيّنة (لنمذجة المدّة الزمنية للصوت) أو أن يتقدّم للأمام، لكنه لا يرجع أبداً.

عملياً، نُخصّص لكل كلمة في القاموس نموذج ماركوف مخفي يساري-يميني خاصاً بها، يتكوّن عادةً من 5 إلى 10 حالات. هذه الحالات تتوافق تقريباً مع المقاطع الصوتية للكلمة: الصامت الأول، ثم الصائت، ثم الصامت الأخير. توزيع الإصدار في كل حالة يصف الخصائص الطيفية لذلك المقطع.

آلية التعرّف بسيطة: نُشغّل مسألة التقييم (المسألة الأولى) على كل نموذج كلمة، ونختار الكلمة التي يمنحها نموذجها أعلى درجة: $W^* = \arg\max_w P(O \mid \lambda_w)$. أما تسلسل المُشاهَدات $O$ فنستخرجه من تحليل إشارة الكلام — غالباً باستخلاص سمات مثل معاملات LPC الطيفية كل 10 ميلي ثانية ثم تكميمها متجهياً.

يستعرض رابينر تطبيق نماذج ماركوف المخفية في ثلاث مهام تتصاعد في الصعوبة:

التعرّف على الكلمات المعزولة — وهو الأبسط. المتحدث ينطق كلمة واحدة كل مرة مع فواصل صمت بين الكلمات. ندرّب نموذجاً لكل كلمة في القاموس، ونحسب درجة كل نموذج مقابل المُدخل، ونختار صاحب الدرجة الأعلى. حُقّقت بهذا الأسلوب معدلات خطأ أقل من 1% في التعرّف على الأرقام.

التعرّف على الكلمات المتصلة — هنا ينطق المتحدث سلسلة كلمات دون فواصل، لكن من قاموس صغير معروف (كسلاسل الأرقام مثل «واحد خمسة سبعة»). النظام يربط نماذج الكلمات ببعضها في شبكة ويبحث عن أفضل مسار عبرها باستخدام نسخة مُعدَّلة من خوارزمية فيتربي.

التعرّف على الكلام المستمر — كلام طبيعي مفتوح بقاموس كبير وقواعد لغوية معقدة. يحتاج هذا المستوى إلى وحدات أصغر من الكلمة (فونيمات أو ثلاثيات فونيمية)، ونماذج لغوية لتضييق مساحة البحث، واستراتيجيات فكّ ترميز متقدّمة. ما يُميّز إطار نماذج ماركوف المخفية أن الخوارزميات ذاتها (الأمام، فيتربي، باوم-وِلش) تصلح للمستويات الثلاثة دون تعديل جوهري.

عند التطبيق العملي لنماذج ماركوف المخفية تبرز مسألتان مهمتان:

الطفح السفلي العددي (Underflow). كلما طال التسلسل $T$، يصبح متغير الأمام $\alpha_t(i)$ صغيراً جداً لأنه حاصل ضرب احتمالات كثيرة. الحل المعتاد هو تقييس (تطبيع) $\alpha$ عند كل خطوة زمنية بالقسمة على $c_t = \sum_i \alpha_t(i)$. بعدها نحسب لوغاريتم الاحتمالية من العلاقة $\log P(O \mid \lambda) = -\sum_t \log c_t$. هذه الحيلة تُبقي الأرقام في نطاق عملي دون أن تُغيّر النتيجة النهائية.

المُشاهَدات المستمرة. نموذج المُشاهَدات المنفصلة (الذي يعتمد على $M$ رمز من دفتر ترميز) محدود الدقة. للحصول على تمثيل أغنى، نستبدل مصفوفة الإصدار المنفصلة $B$ بـنماذج مزيج غاوسي (GMM): $b_j(\mathbf{x}) = \sum_{m=1}^{M_j} c_{jm} \, \mathcal{N}(\mathbf{x}; \boldsymbol{\mu}_{jm}, \boldsymbol{\Sigma}_{jm})$. هنا كل حالة تُصدِر متجهات سمات مستمرة مسحوبة من مزيج توزيعات غاوسية. وصِيَغ إعادة تقدير باوم-وِلش تمتدّ طبيعياً لتشمل تحديث المتوسطات ومصفوفات التغاير وأوزان المزيج.

الأسس الرياضية التي أرستها نماذج ماركوف المخفية لا تزال حاضرة بقوة. الحقول الشرطية العشوائية مثلاً هي نموذج تمييزي تخلّص من افتراض استقلالية المُشاهَدات الذي كان يُقيّد نماذج ماركوف المخفية. وDeepSpeech 2 استبدل خط المعالجة بأكمله بـشبكات عصبية شاملة من طرف إلى طرف. لكن الإطار المفاهيمي — متغيرات كامنة، ديناميكيات انتقال، نماذج مُشاهَدة، وثلاثية التقييم/فكّ الترميز/التعلّم — لا يزال يُشكّل لغة نمذجة التسلسلات حتى اليوم.