GloVe: متجهات شاملة لتمثيل الكلمات

قبل GloVe، كان عالم تضمين الكلمات منقسماً إلى معسكرين واضحين.

أساليب العدّ (مثل LSA وHAL) تبني مصفوفة ضخمة: الخانة في الصف $i$ والعمود $j$ تحفظ كم مرة ظهرت الكلمة $i$ قرب الكلمة $j$ في المتن كلّه. بعدها تُطبّق تجزئة المصفوفات — غالباً SVD — لضغطها في متجهات كثيفة. الميزة أنها ترى المتن دفعة واحدة فتلتقط الإحصاءات الشاملة جيداً. المشكلة أن متجهاتها كانت ضعيفة في اختبار القياس بالتشابه (ملك − رجل + امرأة ≈ ملكة) الذي صار المعيار الذهبي.

الأساليب التنبؤية (نموذج التخطّي وكيس الكلمات المستمر في Word2Vec) لا تبني مصفوفة أصلاً. تُمرّر نافذة صغيرة على النص وتُدرّب شبكة عصبية ضحلة للتنبؤ بكلمات السياق من الكلمة المركزية (أو العكس). تفوّقت في اختبارات القياس والتقطت انتظامات دلالية دقيقة، لكنها لا ترى إلا نوافذ محلية — ليس لديها وسيلة لاستثمار أنماط التواجد المشترك على المستوى الشامل.

السؤال الذي طرحه GloVe كان ببساطة: هل يمكن الجمع بين قوة الطرفين؟

ينطلق GloVe من ملاحظة بسيطة لكنها بالغة القوة. خُذ كلمتين مستهدفتين — «جليد» و«بخار» — وراقب كيف تتصرّفان مع كلمات سياق مختلفة. الاحتمالات الخام وحدها مشوّشة: كلمة «ماء» تظهر مع كليهما، وكلمة «أزياء» لا تظهر مع أيّ منهما، فلا هذه ولا تلك تخبرك بشيء مفيد عن الفرق بين الجليد والبخار.

لكن حين تأخذ النسبة $P(\text{صلب}|\text{جليد}) / P(\text{صلب}|\text{بخار})$، تجدها كبيرة جداً (≫ 1)، لأن «صلب» مرتبطة بالجليد تحديداً. وبالعكس، $P(\text{غاز}|\text{جليد}) / P(\text{غاز}|\text{بخار})$ صغيرة جداً (≪ 1)، لأن «غاز» مرتبطة بالبخار. أما كلمات مثل «ماء» و«أزياء» فنسبتها تدور حول 1 — لا تميّز شيئاً.

هذه النسبة هي مفتاح المعنى — ودالة هدف GloVe مبنية بحيث تلتقط فروقات المتجهات هذه النسب بالضبط.

يبدأ اشتقاق GloVe من مطلب واضح: نريد دالة $F$ تربط متجهات الكلمات بنسبة التواجد المشترك. بمعنى أنه للكلمتين $i$ و$j$ وكلمة السياق $k$:

$F(w_i - w_j, \tilde{w}_k) = \frac{P_{ik}}{P_{jk}}$

الفكرة أن الفرق $w_i - w_j$ يعبّر عن التباين بين الكلمتين، والدالة $F$ تحوّل هذا التباين (مع متجه السياق $\tilde{w}_k$) إلى نسبة احتمالي تواجدهما. كأنك تسأل: ما الذي يميّز الكلمة $i$ عن $j$ من منظور السياق $k$؟

بفرض سلسلة من القيود الرياضية — أبرزها أن تكون $F$ تشاكلاً يربط الجمع في فضاء المتجهات بالضرب في فضاء الاحتمالات — يصل المؤلفون إلى أن الحل الوحيد هو:

$w_i^T \tilde{w}_k = \log(X_{ik}) - b_i - \tilde{b}_k$

بكلام مباشر: الضرب النقطي بين متجه الكلمة ومتجه السياق يجب أن يقارب لوغاريتم عدد التواجد المشترك، بعد طرح حدود انحياز تمتص أثر تفاوت التكرار العام بين الكلمات.

ليست كل أعداد التواجد المشترك متساوية في قيمتها. زوج كلمات ظهر مرة واحدة قد يكون مجرد ضجيج، وزوج ظهر مليون مرة (مثل «الـ» + «من») يطغى على دالة الخسارة إن أعطيناه الوزن نفسه. يعالج GloVe هذا بدالة ترجيح $f(x)$ لها ثلاث خصائص:

• $f(0) = 0$: إذا لم يتواجد الزوج أصلاً، لا يدخل في الحساب.
• $f(x)$ غير متناقصة: كلما زاد تكرار الزوج زاد وزنه، لكن إلى حدّ معيّن.
• $f(x)$ تتشبّع عند سقف $x_{\max}$: بعد هذه العتبة (عادةً 100) يثبت الوزن عند 1 — فلا تهيمن الأزواج فائقة التكرار.

الصيغة المختارة دالة مُجزَّأة: تحت $x_{\max}$ ينمو الوزن وفق $(x / x_{\max})^\alpha$ مع $\alpha = 0.75$، وفوقها يُثبَّت عند 1. معنى الأس دون الخطّي أن مضاعفة عدد التواجد لا تضاعف الوزن بل ترفعه نحو 68% فقط — وهذا يكبح الكلمات شديدة الشيوع من احتكار التدريب.

قبل أن يبدأ التدريب، يحتاج GloVe لبناء المصفوفة الشاملة $X$. الطريقة: نُمرّر نافذة بحجم $L$ (عادةً 10 كلمات على كل جانب) على المتن بأكمله. لكل كلمة مركزية، كل كلمة سياق داخل النافذة تضيف إلى $X_{ij}$ — لكن بحيلة ذكية: الكلمات الأبعد تُساهم بأقل. كلمة على بُعد $d$ مواضع تُضيف $1/d$ فقط، فالجار المباشر يُضيف 1، والذي يليه يُضيف 0.5، وهكذا.

هذا الترجيح بالمسافة يجعل المصفوفة لا تسجّل فقط هل ظهرت كلمتان معاً، بل ما مدى قربهما حين ظهرتا. المصفوفة الناتجة متناظرة ($X_{ij} = X_{ji}$) ومُتناثرة — معظم أزواج الكلمات لا تلتقي أبداً، فلا نخزّن ولا نعالج إلا الخانات غير الصفرية. هذا يمنح GloVe ميزة سرعة واضحة مقارنةً بأساليب تمرّ على كل خلية أو كل رمز.

بعد بناء المصفوفة، يصبح التدريب مباشراً. لكل كلمة في المفردات نُخصّص متجه كلمة $w_i$ وانحياز $b_i$، إضافةً إلى متجه سياق منفصل $\tilde{w}_j$ وانحياز $\tilde{b}_j$. يسحب النموذج عيّنات عشوائية من الخانات غير الصفرية في $X$ ويحدّث المعاملات بـنزول التدرُّج العشوائي على خسارة المربعات الصغرى الموزونة.

نقطة لافتة: GloVe يحتفظ بـمجموعتين من المتجهات — واحدة للكلمات وواحدة للسياق. بعد التدريب، كلتاهما تحملان معلومات مفيدة. التضمين النهائي هو مجموعهما: $w_i + \tilde{w}_i$. هذا المجموع يتفوّق دائماً على أيّ مجموعة وحدها، لأن متجهَي الكلمة والسياق يلتقطان منظورين مختلفين قليلاً — وجمعهما يُنعّم الضجيج ويعطي تمثيلاً أغنى.

التعقيد الحسابي يتناسب مع $O(|C|^{0.8})$ حيث $|C|$ حجم المتن — أفضل من أسوأ الحالات ومنافس للأساليب القائمة على النوافذ.

أشهر ما يميّز تضمينات الكلمات هو القياس بالتشابه: $w_{\text{ملك}} - w_{\text{رجل}} + w_{\text{امرأة}} \approx w_{\text{ملكة}}$. GloVe لا يكتفي بإظهار هذه الخاصية، بل يفسّر لماذا تحدث.

بما أن $w_i^T \tilde{w}_k \approx \log P(k|i)$، فإن: $w_{\text{ملك}}^T \tilde{w}_k - w_{\text{رجل}}^T \tilde{w}_k \approx \log\frac{P(k|\text{ملك})}{P(k|\text{رجل})}$. هذه النسبة تعزل مكوّن «المُلك». حين نضيف $w_{\text{امرأة}}$ نُعيد مكوّن «الأنوثة». النتيجة متجه أقرب ما يكون إلى «ملكة»، لأن ملكة = مُلك + أنوثة.

الفكرة الجوهرية: الحساب على المتجهات ينجح لأن دالة الهدف هي أصلاً لوغاريتم نسب الاحتمالات، واللوغاريتم يحوّل القسمة إلى طرح. القياس بالتشابه ليس صدفة سعيدة — هو نتيجة حتمية للدالة نفسها.

لعلّ أعمق ما قدّمه GloVe هو إثباته أن أساليب العدّ والأساليب التنبؤية ليست مختلفة في جوهرها. تُبيّن الورقة أن نموذج التخطّي مع العيّنات السلبية (SGNS) يُجزّئ ضمنياً مصفوفة كلمة-سياق عناصرها هي المعلومات المتبادلة النقطية المُزاحة:

$w_i^T \tilde{w}_j \approx \text{PMI}(i,j) - \log k$

حيث $k$ عدد العيّنات السلبية. GloVe يجعل هذه التجزئة صريحة ويستبدل التدريب العشوائي المشوّش في التخطّي بانحدار مربعات صغرى موزون ومنضبط على المصفوفة الكاملة.

أثر هذا التوحيد كان كبيراً: أصبح بإمكان الباحثين تحليل العائلتين بالأدوات الرياضية ذاتها. لاحقاً عمّق ليفي وغولدبرغ (2014) هذا الرابط، وأظهرا أن كثيراً من الفروقات الظاهرية بين الأساليب ترجع إلى اختيارات المعاملات الفوقية لا إلى اختلافات بنيوية حقيقية.

اختُبر GloVe على ثلاثة معايير قياسية:

• القياس بالتشابه (مجموعة Google، 19,544 سؤالاً): حقّق GloVe دقة 75% بمتجهات من 300 بُعد مُدرَّبة على 42 مليار رمز — أفضل نتيجة وقتها، متفوّقاً على skip-gram وCBOW والأساليب القائمة على SVD.
• تشابه الكلمات (WordSim-353 وMEN وغيرها): طابقَ GloVe الأساليب السائدة أو تجاوزها، مما يؤكد أن متجهاته تلتقط التشابه الدلالي بكفاءة.
• التعرّف على الكيانات المُسمّاة (CoNLL-2003): حين استُخدمت متجهات GloVe كمدخلات لنظام CRF، تحسّنت درجة F1 — دليل عملي على أن المتجهات تنقل معلومات مفيدة للمهام التطبيقية وليس فقط للاختبارات الذاتية.

درس المؤلفون كذلك أثر المعاملات الفوقية: المتون الأكبر، والمتجهات الأطول (حتى 300 بُعد)، والنوافذ المتناظرة كلها رفعت الأداء. واختيار بيانات التدريب مهم: الجمع بين ويكيبيديا وGigaword أعطى نتائج أفضل من أيّ منهما وحده.

أرسى GloVe مبدأين بقي أثرهما. الأول: تجزئة المصفوفات الصريحة والتنبؤ العصبي الضمني يصلان إلى النتيجة الرياضية نفسها — توحيد أوضح مجال الدلالات التوزيعية بأكمله. الثاني: النموذج البسيط مع دالة هدف محكَمة يستطيع منافسة البنى المعقدة أو التفوّق عليها — تذكيرٌ بأن الانحياز الاستقرائي أهم من تعقيد النموذج.

من 2014 إلى 2018، كانت متجهات GloVe المُدرَّبة مسبقاً هي التهيئة الافتراضية لمعظم نماذج معالجة اللغة الطبيعية، قبل أن تحلّ التضمينات السياقية (ELMo وBERT) محلّ المتجهات الثابتة. ومع ذلك، البصمة الفكرية لـ GloVe لا تزال حاضرة: طبقات التضمين في المحوِّلات تتعلّم تجزئة مشابهة، وأنظمة الاسترجاع الحديثة لا تزال تعتمد على تشابه الضرب النقطي الذي أسّسه GloVe.

لنصف عقد كامل، كانت متجهات GloVe المُدرَّبة مسبقاً الركيزة الصامتة لمعالجة اللغة الطبيعية. كل مصنّف مشاعر، وكل نظام إجابة عن أسئلة، وكل نموذج ترجمة آلية بين 2014 و2018 كان يبدأ غالباً بتضمينات GloVe أو Word2Vec. عصر المتجهات الثابتة ربما مضى، لكن الرؤية الرياضية — أن نسب التواجد المشترك تشفّر المعنى، وأن العدّ والتنبؤ هما الشيء نفسه — لا تزال أساساً يُبنى عليه.