أساسيات تعلم الآلة2003متوسط12 دقيقة قراءة

تخصيص ديريكليه الكامن

Latent Dirichlet Allocation

Blei, D. M. · Ng, A. Y. · Jordan, M. I. — JMLR

المشكلة

مع بداية الألفية، تضخّمت مجموعات النصوص بشكل هائل — مكتبات رقمية، ومحتوى ويب لا نهائي، وأرشيفات بريد إلكتروني — لكنّ الأدوات المتاحة لتنظيمها كانت سطحية. نماذج مثل TF-IDF كانت تتعامل مع كل كلمة على حدة، دون أن تُدرك أنّ كلمات مثل «بنك» و«قرض» و«فائدة» تظهر معاً لأنها تدور حول موضوع واحد مشترك. أسلوب التحليل الدلالي الكامن الاحتمالي (pLSA) كان قادراً على اكتشاف مواضيع مخفية، لكنه لم يكن نموذجاً توليدياً حقيقياً، وكان يعاني من فرط الملاءمة مع المجموعات النصية الصغيرة، ولا يملك آلية لحساب احتمال مستند جديد لم يُعرض عليه من قبل.

الإسهام

قدّم الباحثون LDA بوصفه نموذجاً بايزياً توليدياً متكاملاً للنصوص. الفكرة أنّ كل مستند يسحب مزيجاً من المواضيع وفق مسبق، ثم كل كلمة تُوَلَّد من التوزيع المفرداتي للموضوع الذي اختارته. ولأنّ كل شيء ينبثق من توزيعات مسبقة، يستطيع على مستندات جديدة، ويقاوم فرط الملاءمة، ويعطي احتمالاً رياضياً منضبطاً لأي مستند. الدقيق مستعصٍ حسابياً، فقدّم المؤلفون خوارزمية تعظيم التوقع المتغيّرة التي تتوسّع بكفاءة لمجموعات نصية ضخمة. حقّق LDA نتائج أفضل من pLSA وTF-IDF في معايير تصنيف المستندات واسترجاع المعلومات.

الأثر

أصبح LDA النموذج المرجعي في نمذجة المواضيع، وواحداً من أكثر أوراق التعلّم الآلي استشهاداً في التاريخ. أرسى نموذجاً فكرياً للنمذجة التوليدية البايزية على بيانات منفصلة، وألهم مئات الامتدادات — من نماذج المواضيع الديناميكية والمترابطة إلى LDA المُوجَّه ونماذج المؤلف-الموضوع. وخارج معالجة اللغة الطبيعية، وجد تطبيقات في المعلوماتية الحيوية والرؤية الحاسوبية وأنظمة التوصية. أمّا إطاره في الاستدلال المتغيّر فقد أثّر في جيل كامل من أساليب التقريب البايزي، ومهّد الطريق لاحقاً نحو المُرمِّز التلقائي المتغيّر وأساليب الاستدلال المُعجَّل الحديثة.

تخيّل مطبخاً كل طبق فيه يُحضَّر بمزج بضع وصفات أساسية — كاري تايلندي، وراغو إيطالي، ورو فرنسي — بنِسب مختلفة. الباد تاي مثلاً معظمه كاري تايلندي مع لمسة راغو تضيف له عمقاً، أمّا الريزوتو المُدمج فقد يكون مناصفةً بين الراغو والرو.

والآن تخيّل أنك لا ترى إلّا الأطباق الجاهزة، دون أن يُريك أحد الوصفات الأصلية. LDA هو ذلك الناقد الذي يتذوّق أطباقاً كافية حتى يستنتج الوصفات المخفية ويُحدّد مزيج كل طبق.

«الأطباق» هنا هي المستندات، و«الوصفات الأساسية» هي المواضيع، و«المكوّنات» هي الكلمات. ما يفعله LDA هو اكتشاف وصفات لم يدوّنها أحد من قبل.

المشكلة: العدّ المسطّح للكلمات يُغفل البنية الخفية

أبسط طريقة لتمثيل مستند هي ما يُعرف : عُدّ كم مرة ظهرت كل كلمة وتجاهل ترتيبها بالكامل. أسلوب TF-IDF طوّر هذه الفكرة بتقليل وزن الكلمات الشائعة، لكنّ المشكلة الأساسية بقيت: كل كلمة تُعامَل بمعزل عن سياقها. لا يستطيع هذا الأسلوب أن يُدرك أنّ كلمات مثل «عصبون» و«مشبك عصبي» و«قشرة دماغية» تتجمّع معاً لأنها تنتمي إلى موضوع واحد كامن تحت السطح.

Word2Vec جاء لاحقاً وتعلّم أوجه التشابه بين الكلمات، لكنه يعمل على مستوى الكلمة المفردة فقط. ما كان ينقص الميدان هو نموذج يعمل على مستوى المستند بأكمله — نموذج يستطيع أن يقول: «هذه الورقة 60% علم أعصاب و40% إحصاء» — أي يلتقط مزيج المواضيع الذي يمنح كل مستند شخصيته المميّزة.

التحليل الدلالي الكامن الاحتمالي (pLSA) الذي طرحه هوفمان عام 1999 كان خطوة في هذا الاتجاه، إذ نمذج المستندات بوصفها مزائج من مواضيع. لكنّ المشكلة الجوهرية فيه أنّ نِسب المواضيع كانت حرّة لكل مستند، فينمو عدد المعاملات خطياً مع حجم . هذا جعل pLSA عرضةً لـ، ولم تكن هناك طريقة منضبطة لحساب مستند لم يره النموذج من قبل.

افتح في المختبر

يساراً: حقيبة الكلمات ترى كل كلمة بمعزل عن غيرها. يميناً: LDA يكتشف أنّ الكلمات تتجمّع في مواضيع خفية.

تستيقظ التجربة عند وصولك…

المحرّك: توزيع ديريكليه

قبل أن نستعرض القصة التوليدية لـ LDA، نحتاج أن نفهم محرّكه الأساسي: توزيع ديريكليه. الفكرة ببساطة أنّ توزيع ديريكليه هو يُنتج توزيعات احتمالية أخرى. تخيّله كآلة تصنع مخططات دائرية: تعطيها معاملات $\alpha$ ، فتُخرج لك متجه احتمالات عشوائياً مجموع عناصره يساوي 1.

المعامل $\alpha$ هو ما يتحكّم في شكل هذه المخططات. حين تكون جميع قيم $\alpha$ كبيرة (لنقل 10)، تخرج معظم المخططات متوازنة تقريباً — كل شريحة تأخذ نصيباً مقارباً للبقية. وحين تكون قيمها صغيرة (لنقل 0.1)، تخرج المخططات متفرّقة — شريحة واحدة أو اثنتان تستحوذان على الحصة الكبرى والباقي قريب من الصفر. وإذا اختلفت قيم $\alpha$ عن بعضها، تميل الآلة إلى تفضيل شرائح معيّنة على حساب غيرها.

في LDA، يؤدّي توزيع ديريكليه دورين محوريين: أولاً يُنتج متجه مزيج المواضيع $\theta$ لكل مستند (أي كم يستخدم هذا المستند من كل موضوع)، وثانياً يُنتج متجه التوزيع المفرداتي $\phi$ لكل موضوع (أي ما احتمال ظهور كل كلمة في تحت هذا الموضوع).

افتح في المختبر

اسحب α لترى كيف يتغيّر توزيع ديريكليه. قيمة α منخفضة → متفرّق (مواضيع قليلة تهيمن). قيمة α مرتفعة → متساوٍ (المواضيع تتقاسم بالتساوي).

تستيقظ التجربة عند وصولك…

القصة التوليدية: كيف يتصوّر LDA أنّ المستند كُتب

يبني LDA قصة تخيّلية تصف كيف وُلد كل مستند في المجموعة النصية. بطبيعة الحال لا أحد يعتقد أنّ المستندات تُكتب فعلاً بهذه الطريقة، لكنّ القصة هي افتراض نمذجي يلتقط الجوهر الإحصائي الذي يهمّنا: المستندات تتناول مواضيع متعددة، والكلمات فيها تأتي من تلك المواضيع.

إليك العملية التوليدية كاملة. لكل مستند $d$ في المجموعة النصية:

الخطوة 1. اسحب متجه مزيج المواضيع $\theta_d \sim \text{Dir}(\alpha)$ . هذا المتجه يقع على بسيطة الاحتمالات ويحدّد مقدار ما سيستخدمه هذا المستند من كل موضوع.

الخطوة 2. لكل موضع كلمة $n$ في المستند:

2أ. اسحب تعيين موضوع $z_{d,n} \sim \text{Multinomial}(\theta_d)$ . هذه الخطوة تحدّد أيّ موضوع سيولّد هذه الكلمة تحديداً.

2ب. اسحب الكلمة $w_{d,n} \sim \text{Multinomial}(\phi_{z_{d,n}})$ . هذه الخطوة تختار كلمة من التوزيع المفرداتي للموضوع الذي وقع عليه الاختيار.

توزيعات المواضيع-الكلمات $\phi_k$ تُسحب هي أيضاً من : $\phi_k \sim \text{Dir}(\beta)$ لكل موضوع $k$ .

لاحظ الآن ما هو مرصود وما هو مخفي. الشيء الوحيد الذي نراه هو الكلمات $w$ . أمّا كل شيء آخر — مزائج المواضيع $\theta$ وتعيينات المواضيع $z$ والتوزيعات المفرداتية $\phi$ — فكلّها . التحدي الأساسي في LDA هو استدلال هذه المتغيّرات المخفية انطلاقاً من الكلمات المرصودة فقط.

افتح في المختبر

انقر «توليد» لمشاهدة LDA وهو يكتب مستنداً خطوة بخطوة: يسحب θ أولاً، ثم يختار لكل كلمة موضوعاً ويسحب منه كلمة.

تستيقظ التجربة عند وصولك…

لماذا ديريكليه؟ حيلة الاقتران

توزيع ديريكليه هو التوزيع المسبق المقترن للتوزيع متعدد الحدود. ماذا يعني ذلك عملياً؟ حين تُحدّث توزيع ديريكليه المسبق بملاحظات جديدة من توزيع متعدد الحدود، يظل من عائلة ديريكليه نفسها — كل ما يتغيّر هو المعاملات. هذه الخاصية تجعل الاستدلال ممكناً عملياً: في كل مرة ترصد فيها كلمة جديدة، كل ما عليك فعله هو إضافة 1 إلى المعامل المقابل. بدون هذا الاقتران، لن يكون للتوزيع اللاحق صيغة مغلقة وسيصبح الاستدلال أصعب بمراحل.

النموذج البياني: كيف نقرأ مخطط الصفائح

النماذج البايزية تُرسم عادةً على شكل نماذج بيانية — مخططات تمثّل فيها العُقد متغيّرات عشوائية، بينما تُظهر الأسهم والحواف علاقات التبعية بينها. مخطط الصفائح في LDA يبدو مضغوطاً لكنه يختزل القصة التوليدية بأكملها:

الصفيحة الخارجية (المستطيل) تتكرر $D$ مرة — واحدة لكل مستند.
بداخلها صفيحة أصغر تتكرر $N_d$ مرة — واحدة لكل كلمة في المستند $d$ .
$\alpha$ يقع خارج جميع الصفائح: واحد تتشاركه المجموعة النصية كلها.
$\theta_d$ داخل صفيحة المستند: لكل مستند مزيج مواضيع خاص به.
$z_{d,n}$ و $w_{d,n}$ داخل صفيحة الكلمة: لكل كلمة تعيين موضوع مستقل.
$\phi_k$ و $\beta$ في صفيحة مستقلة تتكرر $K$ مرة — واحدة لكل موضوع.
العقدة الوحيدة المظلّلة (أي المرصودة) هي $w_{d,n}$ . كل ما عداها متغيّرات كامنة.

هذه الصورة المضغوطة تحدّد التوزيع المشترك بالكامل. التحدي الحقيقي هو حساب التوزيع اللاحق لجميع المتغيّرات الكامنة بمعلومية الكلمات التي نرصدها.

افتح في المختبر

مرّر المؤشر فوق أي عقدة لترى دورها وتوزيعها. المظلّل = مرصود، الأبيض = كامن.

تستيقظ التجربة عند وصولك…

الرياضيات: من القصة إلى المعادلات

القصة التوليدية التي سردناها يمكن ترجمتها مباشرةً إلى صيغة رياضية. لمستند واحد يحتوي $N$ كلمة، يكون التوزيع المشترك على مزيج المواضيع $\theta$ وتعيينات المواضيع $\mathbf{z}$ والكلمات $\mathbf{w}$ كالتالي:

p(\theta, \mathbf{z}, \mathbf{w} \mid \alpha, \beta) = p(\theta \mid \alpha) \prod_{n=1}^{N} p(z_n \mid \theta) \, p(w_n \mid z_n, \beta)

التوزيع المشترك لمستند واحد — p(θ|α) التوزيع المسبق من ديريكليه على مزائج المواضيع · p(zₙ|θ) يختار موضوعاً لكل كلمة · p(wₙ|zₙ,β) يختار كلمة من مفردات الموضوع المختار

للحصول على احتمال الكلمات المرصودة وحدها، نحتاج إلى إزالة $\theta$ بالتكامل والجمع على جميع تعيينات المواضيع الممكنة $\mathbf{z}$ . ما ينتج هو الهامشية للمستند:

p(\mathbf{w} \mid \alpha, \beta) = \int p(\theta \mid \alpha) \left( \prod_{n=1}^{N} \sum_{z_n} p(z_n \mid \theta) \, p(w_n \mid z_n, \beta) \right) d\theta

الأرجحية الهامشية — التكامل المستعصي — هذا التكامل ليس له صيغة مغلقة بسبب الاقتران بين θ وβ داخل الجداء. هذا الاستعصاء هو ما يدفعنا إلى اللجوء لأساليب الاستدلال التقريبي.

الاستدلال المتغيّر: الاختصار القابل للحل

بما أنّ الاستدلال الدقيق مستحيل، اقترح بلاي ونغ وجوردان تقريباً متغيّراً. الفكرة الأساسية هي: اختر عائلة أبسط من التوزيعات نسمّيها $q$ ، تتميّز بأنها تفكّك الاقترانات بين المتغيّرات، ثم ابحث عن العضو الأقرب في هذه العائلة إلى التوزيع اللاحق الحقيقي.

العائلة المتغيّرة المستخدمة في LDA تفترض أنّ مزيج المواضيع $\theta$ وكل تعيين موضوع $z_n$ مستقلان عن بعضهما — وهو ما يُعرف بافتراض «المجال المتوسط». هذا الافتراض يكسر بالضبط الاقتران الذي جعل الاستدلال الدقيق مستعصياً:

q(\theta, \mathbf{z} \mid \gamma, \boldsymbol{\varphi}) = q(\theta \mid \gamma) \prod_{n=1}^{N} q(z_n \mid \varphi_n)

عائلة المجال المتوسط المتغيّرة — q(θ|γ) توزيع ديريكليه بمعامل حر γ · كل q(zₙ|φₙ) توزيع متعدد الحدود بمعامل حر φₙ · الجوهر: θ وz يُفترضان مستقلَّين، فتصبح الحسابات قابلة للحل.

«الأقرب» هنا يُقاس بـ بين $q$ والتوزيع اللاحق الحقيقي $p$ . والجميل أنّ تصغير هذا التباعد يكافئ رياضياً تعظيم كمّية تُسمّى الحد الأدنى للدليل ():

\mathcal{L}(\gamma, \varphi; \alpha, \beta) = \mathbb{E}_q[\log p(\theta, \mathbf{z}, \mathbf{w} \mid \alpha, \beta)] - \mathbb{E}_q[\log q(\theta, \mathbf{z})]

الحد الأدنى للدليل (ELBO) — الحد الأول: القيمة المتوقعة للوغاريتم المشترك تحت q (مدى جودة تفسير q للبيانات). الحد الثاني: إنتروبيا q (مدى انتشار التوزيع). تعظيم ELBO يُحكم الحد على log p(w).

نعظّم ELBO عبر الصعود الإحداثي: نُحدّث $\gamma$ وكل $\varphi_n$ بالتناوب مع تثبيت الآخر. ما يميّز هذه العملية أنّ معادلات التحديث لها صيغ مغلقة أنيقة بفضل اقتران ديريكليه مع التوزيع متعدد الحدود:

\varphi_{n,k} \propto \beta_{k, w_n} \exp\!\bigl(\psi(\gamma_k) - \psi(\textstyle\sum_j \gamma_j)\bigr)

تحديث المتغيّر لتعيين الموضوع φ — التعيين المرن لموضوع كل كلمة يوازن بين قوتين: مدى ملاءمة الموضوع لهذه الكلمة (حد β) ومقدار اعتماد المستند على هذا الموضوع (حدود ψ/ديغاما المشتقة من γ).

\gamma_k = \alpha_k + \sum_{n=1}^{N} \varphi_{n,k}

تحديث المتغيّر لمزيج المواضيع γ — مزيج المواضيع التقريبي للمستند يساوي المُسبَق α مجموعاً مع العدّ المرن لعدد الكلمات المُسندة إلى كل موضوع.

افتح في المختبر

شاهد خطوتي التوقع والتعظيم تتناوبان. خطوة التوقع تستدلّ تعيينات المواضيع لكل مستند، وخطوة التعظيم تُحدّث التوزيعات المفرداتية الشاملة للمواضيع.

تستيقظ التجربة عند وصولك…

البديل: اعتيان غيبس المُنهار

بعد عامين من نشر LDA، جاء غريفيثس وستيفرز (2004) بأسلوب استدلال أبسط: . الفكرة هنا أنه بدلاً من تقريب التوزيع اللاحق الكامل، نتخلّص من $\theta$ و $\phi$ بالتكامل التحليلي (بفضل اقتران ديريكليه) ولا نعتيّن إلا تعيينات المواضيع $z$ وحدها.

الاعتيان المُنهار يمشي كلمةً بكلمة: لكل كلمة $w_{d,n}$ ، أزِل تعيينها الحالي ثم أعِد سحب موضوع بما يتناسب مع عاملين: (1) كم مرة ظهر الموضوع $k$ في المستند $d$ (بعد طرح هذه الكلمة)، و(2) كم مرة ظهرت الكلمة $w$ تحت الموضوع $k$ (بعد طرح هذه الكلمة). بعد تكرارات كافية تتقارب العيّنات نحو التوزيع اللاحق.

في الممارسة العملية، أصبح اعتيان غيبس المُنهار الأسلوب الأكثر شيوعاً لـاستدلال LDA لأنه سهل التنفيذ برمجياً، ويعطي نتائج جيدة، ومعادلته بديهية:

p(z_{d,n} = k \mid \mathbf{z}_{-(d,n)}, \mathbf{w}, \alpha, \beta) \propto (n_{d,k}^{-(d,n)} + \alpha_k) \cdot \frac{n_{k,w}^{-(d,n)} + \beta_w}{\sum_{v} n_{k,v}^{-(d,n)} + \beta_v}

معادلة اعتيان غيبس المُنهار — العامل الأول: مقدار استخدام المستند d للموضوع k حتى الآن (ميل المستند نحو الموضوع). العامل الثاني: مدى ملاءمة الموضوع k للكلمة w (ميل الموضوع نحو الكلمة). النتيجة أنّ الكلمة تنجذب نحو الموضوع الذي يتوافق مع المستند والكلمة معاً.

LDA مقابل pLSA: لماذا تُحدث الطبقة البايزية فرقاً

من الخارج يبدو pLSA وLDA متشابهين — كلاهما يمثّل المستندات بوصفها مزائج من مواضيع. لكنّ الفارق الحاسم يكمن في التوزيع المسبق من ديريكليه. في pLSA، مزيج المواضيع $\theta_d$ لكل مستند هو معامل حر يُقدَّر مباشرة. أمّا في LDA، فإنّ $\theta_d$ متغيّر كامن يُسحب من توزيع مسبق. هذا الفرق البسيط يترتب عليه ثلاث نتائج جوهرية:

التعميم. يستطيع LDA حساب احتمال أي مستند جديد عبر تكامل $\theta$ . أما pLSA فلا يملك هذه القدرة — لا يعرف سوى المستندات التي تدرّب عليها.
مقاومة فرط الملاءمة. التوزيع المسبق من ديريكليه يعمل عمل . حين يكون $\alpha$ صغيراً، يميل النموذج إلى مزائج مواضيع متفرّقة، وهذا يعكس الواقع — أغلب المستندات تتناول بضعة مواضيع فقط وليس جميعها.
عدد المعاملات. تعقيد نموذج LDA ثابت ويتحدد بـ $K$ و $V$ بصرف النظر عن عدد المستندات $D$ . أمّا pLSA فينمو عدد معاملاته خطياً مع المستندات حتى يغرق في فرط الملاءمة.

افتح في المختبر

قارن بين LDA وpLSA على مجموعة نصية صغيرة. لاحظ كيف يقع pLSA في فرط الملاءمة حين تكون المجموعة صغيرة، بينما التوزيع المسبق من ديريكليه يحافظ على نظافة المواضيع في LDA.

تستيقظ التجربة عند وصولك…

الفكرة ذاتها في شيفرة برمجية

اعتيان غيبس المُنهار لنموذج LDA، كاملاًpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def lda_gibbs(docs, V, K, alpha, beta, n_iter=1000):
    """اعتيان غيبس المُنهار لنموذج LDA.
    docs: قائمة من قوائم فهارس الكلمات
    V: حجم القاموس، K: عدد المواضيع
    alpha: مُسبَق ديريكليه على مستند-موضوع، beta: مُسبَق على موضوع-كلمة
    """
    # التهيئة: تعيين موضوع عشوائي لكل كلمة
    z = [[np.random.randint(K) for _ in doc] for doc in docs]

    # مصفوفات العدّ
    n_dk = np.zeros((len(docs), K))   # المستند d، الموضوع k
    n_kv = np.zeros((K, V))           # الموضوع k، الكلمة v
    n_k  = np.zeros(K)                # إجمالي كلمات الموضوع k

    for d, doc in enumerate(docs):
        for n, w in enumerate(doc):
            k = z[d][n]
            n_dk[d, k] += 1
            n_kv[k, w] += 1
            n_k[k]     += 1

    # تكرارات غيبس
    for it in range(n_iter):
        for d, doc in enumerate(docs):
            for n, w in enumerate(doc):
                k_old = z[d][n]
                # أزل التعيين الحالي
                n_dk[d, k_old] -= 1
                n_kv[k_old, w] -= 1
                n_k[k_old]     -= 1

                # احسب الشرطي: مستند-موضوع × موضوع-كلمة
                prob = (n_dk[d] + alpha) * (n_kv[:, w] + beta) / (n_k + V * beta)
                prob /= prob.sum()

                # أعد اعتيان الموضوع
                k_new = np.random.choice(K, p=prob)
                z[d][n] = k_new
                n_dk[d, k_new] += 1
                n_kv[k_new, w] += 1
                n_k[k_new]     += 1

    # استخرج توزيعات الموضوع-الكلمة
    phi = (n_kv + beta) / (n_k[:, None] + V * beta)
    # استخرج توزيعات المستند-الموضوع
    theta = (n_dk + alpha) / (n_dk.sum(axis=1, keepdims=True) + K * alpha)
    return phi, theta

الأثر: ماذا أطلق LDA

نقلة النموذج الفكري

أرسى LDA مبدأين أصبحا ركيزتين دائمتين في الميدان. الأول: العضوية المختلطة — أي أنّ نقطة البيانات يمكن أن تنتمي إلى عدة مجموعات في الوقت نفسه بنِسب مختلفة، بدلاً من أن تُحشر في واحد. الثاني: النمذجة التوليدية البايزية للبيانات المنفصلة — أي أن تصوغ قصة تشرح كيف وُلدت البيانات، ثم تضع توزيعات مسبقة على المتغيّرات المخفية، وتستخدم الاستدلال التقريبي للتعلّم. هذان المبدآن معاً أسّسا حقلاً كاملاً من النمذجة الموضوعية الاحتمالية، وأثّرا بوضوح في تصميم بعد عقد من الزمن.

2003
نشر LDA
قدّم بلاي ونغ وجوردان نموذج تخصيص ديريكليه الكامن في مجلة JMLR. أول نموذج موضوعي بايزي توليدي متكامل يعتمد على الاستدلال المتغيّر.
2004
اعتيان غيبس المُنهار لـ LDA
طرح غريفيثس وستيفرز اعتيان غيبس المُنهار — أسلوب أبسط وانتشر بسرعة كبيرة. نُشر في PNAS تحت عنوان «اكتشاف المواضيع العلمية».
2006
نماذج المواضيع الديناميكية والمترابطة
وسّع بلاي ولافرتي نموذج LDA ليتتبّع تطور المواضيع عبر الزمن ويلتقط الترابطات بينها، فتولّدت عائلة غنية من النماذج المشتقة.
2010
LDA الفوري
قدّم هوفمان وبلاي وباخ الاستدلال المتغيّر العشوائي لنموذج LDA، ممّا أتاح التعامل مع ملايين المستندات عبر معالجة دفعات صغيرة بدلاً من المجموعة كاملة.
2013
Word2Vec — مسار مختلف
تعلّم Word2Vec لميكولوف تضمينات الكلمات عبر التنبؤ بدلاً من النمذجة التوليدية. لاحقاً سيتلاقى المساران — نماذج المواضيع والتضمينات — في نماذج المواضيع العصبية.
2014
LDA في المعلوماتية الحيوية
طبّق الباحثون LDA على بيانات التعبير الجيني بمعاملة الجينات كـ«كلمات» وعيّنات الخلايا كـ«مستندات»، فاكتشف النموذج تلقائياً بصمات أنواع الخلايا.
2017
نماذج المواضيع العصبية (ProdLDA)
استبدل سريفاستافا وسوتون الاستدلال المتغيّر بمُرمِّز على نمط المُرمِّز التلقائي المتغيّر، فانتقل LDA إلى عصر التعلّم العميق.

تأثير LDA يتجاوز نمذجة المواضيع بكثير. إطاره في تحوّل إلى قالب تتبعه أساليب التقريب البايزي عموماً. وفكرة العضوية المختلطة — أنّ المستند ينتمي لعدة مجموعات في آنٍ واحد — ألهمت نماذج مشابهة في علم الوراثة وتحليل الشبكات الاجتماعية و. أمّا جوهر الفكرة — أنّ الأنماط التي نرصدها تنشأ من اختيارات فئوية كامنة تحكمها توزيعات مسبقة مستمرة — فهو المبدأ نفسه الذي يقوم عليه المُرمِّز التلقائي المتغيّر و الحديثة.

المرجعBlei, Ng, Jordan. Latent Dirichlet Allocation. JMLR, 2003.

مصطلحات هذه الورقة

نموذج المواضيعTopic Model
توزيع ديريكليهDirichlet Distribution
المتغير الكامنLatent Variable
الاستدلال الاحتمالي المتغيِّرVariational Inference
النموذج التوليديGenerative Model
حقيبة الكلماتBag of Words
المستند الرقميDocument
المدونة النصيةCorpus
الاحتمال البعدي الـمُحدثPosterior
الاحتمال القبلي المبدئيPrior
الأرجحيةLikelihood
الحد الأدنى الاختلافيELBO
تقدير الأرجحية القصوىMaximum Likelihood Estimation
تباعد KLKL Divergence
عيّنة غيبسGibbs Sampling