التمثيلات الموزَّعة للكلمات والعبارات وخاصية التركيب

أبسط طريقة لتمرير كلمة إلى شبكة عصبية هي الترميز الأحادي الساخن: متجه كله أصفار باستثناء خانة واحدة تُوضع فيها 1 عند موضع الكلمة في القاموس. لو كان قاموس المفردات يضمّ 100,000 كلمة، تتحوّل كل كلمة إلى متجه من 100,000 بُعد — ضخم ومتناثر ولا يعرف شيئاً عن التشابه. «قطة» و«هريرة» تبعدان عن بعضهما تماماً كبُعد «قطة» عن «برلمان».

النماذج اللغوية العصبية الكاملة مثل نموذج Bengio عام 2003 عالجت هذه المشكلة بتعلّم تضمينات كثيفة، لكن طبقة الخروج كانت تحسب سوفت ماكس على القاموس بأكمله في كل خطوة تدريب. لقاموس بحجم V كلمة يعني ذلك V عملية ضرب نقطي ثم تسوية — تكلفة تتناسب خطياً مع V وتتحوّل إلى عنق زجاجة حين يبلغ V مئات الآلاف.

يعكس نموذج Skip-gram منطق النموذج اللغوي التقليدي. بدلاً من التنبؤ بالكلمة التالية انطلاقاً من الكلمات السابقة، يبدأ من كلمة مركزية ويحاول التنبؤ بـكلمات السياق المحيطة بها ضمن نافذة سياق بحجم $c$. تخيّل الأمر كبقعة ضوء: الكلمة المركزية تسأل «من يقف عادةً بجواري؟»

لتسلسل كلمات تدريب $w_1, w_2, \ldots, w_T$، الهدف تعظيم متوسط اللوغاريتم الاحتمالي:

$\frac{1}{T} \sum_{t=1}^{T} \sum_{\substack{-c \le j \le c \\ j \ne 0}} \log p(w_{t+j} \mid w_t)$

لكل كلمة دوران — وبالتالي متجهان. حين تكون كلمة مركزية تستخدم متجه الدخل $v_w$، وحين تكون كلمة سياق تستخدم متجه الخروج $v'_w$. يُحسب احتمال ظهور كلمة سياق $w_O$ بشرط الكلمة المركزية $w_I$ عبر دالة سوفت ماكس على القاموس كاملاً.

العقبة الحوسبية في Skip-gram هي مقام سوفت ماكس — أي جمع $\exp(v'_w{}^\top v_{w_I})$ على كل كلمة في القاموس. يستبدل التعيين السلبي (NEG) هذا الحساب بـدالة هدف بديلة أرخص بكثير.

الفكرة أنيقة: بدلاً من السؤال «ما احتمال كلمة السياق هذه من بين كل الكلمات الـ V؟»، يُطرح سؤال ثنائي — «هل هذا الزوج (كلمة، سياق) حقيقي أم ضوضاء؟» الزوج الحقيقي $(w_I, w_O)$ يجب أن يحصل على احتمال مرتفع، ثم تُسحب $k$ كلمة «سلبية» عشوائية من توزيع ضوضاء ويجب أن يحصل كل منها على احتمال منخفض.

تخيّل ضابط جمارك: بدلاً من تفتيش كل ركاب الطائرة (سوفت ماكس الكاملة)، يتحقق من تذكرة المسافر القادم (الزوج الإيجابي) ثم يفحص عشوائياً $k$ أشخاص من حشد المطار (العيّنات السلبية). أسرع بمراحل، ويبقى قادراً على كشف التزوير.

كلمات مثل «الـ» و«في» و«على» تظهر ملايين المرات في أي مدوَّنة نصية كبيرة، لكنها تحمل قدراً ضئيلاً من المعلومات مقارنة بالكلمات النادرة. فظهور «الـ» بجوار «فرنسا» لا يخبرك بشيء يُذكر، بينما ظهور «باريس» بجوار «فرنسا» معلومة ثرية. دون تصحيح، يُهدر النموذج معظم حوسبته على هذه الأزواج الفقيرة معلوماتياً.

تطرح الورقة صيغة تقليص بسيطة: كل كلمة $w_i$ في بيانات التدريب تُحذف باحتمال يزداد كلّما زاد تكرارها.

بعض التركيبات الكلمية تحمل معنى لا تؤديه أجزاؤها منفردة. «نيويورك» مدينة وليست شيئاً جديداً يُدعى يورك، و«ذكاء اصطناعي» حقل كامل وليس مجرد ذكاء صناعي. حين نعامل هذه الكلمات كـوحدات منفصلة يضيع جزء جوهري من المعنى.

تستخدم الورقة دالة تقييم مبنية على المعلومات المتبادلة النقطية لاكتشاف هذه العبارات:

$\text{score}(w_i, w_j) = \frac{\text{count}(w_i\, w_j) - \delta} {\text{count}(w_i) \times \text{count}(w_j)}$

حين تتجاوز الدرجة عتبة محددة، يُدمج الزوج في وحدة واحدة. تكرار العملية عدة مرات يكشف عبارات أطول مثل «نيويورك_تايمز». الأسلوب بسيط لكنه فعّال — بلا قواعد لغوية، إحصاء تلازمي بحت.

أشهر نتائج Word2Vec أنّ فضاء المتجهات يُرمِّز العلاقات الدلالية كاتجاهات. العرض الكلاسيكي:

$\vec{\text{ملك}} - \vec{\text{رجل}} + \vec{\text{امرأة}} \approx \vec{\text{ملكة}}$

ليست هذه خدعة ولا مثالاً منتقى — بل تعمل على أنواع كثيرة من العلاقات. الاتجاه من «رجل» إلى «امرأة» يمثّل محور الجنس، والاتجاه من «باريس» إلى «فرنسا» يمثّل محور العاصمة-البلد. هذه الاتجاهات متّسقة: الإزاحة نفسها التي تنقل «باريس» ← «فرنسا» تنقل «برلين» ← «ألمانيا».

تنبثق هذه التركيبية لأنّ هدف Skip-gram يفكّك ضمنياً مصفوفة التلازم بين الكلمات وسياقاتها. الكلمات ذات السياقات المتشابهة تستقر في مواضع متقاربة، والعلاقات المنتظمة في اللغة تولّد أنماطاً هندسية منتظمة في فضاء التضمين.

قبل التعيين السلبي تناقش الورقة أيضاً سوفت ماكس الهرمي — وهو أسلوب أقدم لتفادي الجمع على كامل القاموس. الفكرة: رتّب الكلمات جميعها كأوراق في شجرة ثنائية. بدلاً من حساب سوفت ماكس واحدة بـ V طرف، يسير النموذج عبر الشجرة من الجذر إلى ورقة الكلمة المستهدفة متخذاً سلسلة قرارات ثنائية.

كل عقدة داخلية تملك متجهاً مُتعلَّماً، وعند كل تفرّع تُحسب دالة سيجمويد لتحديد الاتجاه: يمين أم يسار. طول المسار الكلي $\log_2 V$ فقط، فتنخفض التكلفة من $O(V)$ إلى $O(\log V)$. شجرة هوفمان تمنح الكلمات المتكررة مسارات أقصر فتتسارع التنبؤات الشائعة.

وجدت الورقة أنّ التعيين السلبي تفوّق على سوفت ماكس الهرمي في مهام التشبيه، لا سيما مع الكلمات المتكررة، فضلاً عن بساطة تطبيقه. لذلك صار التعيين السلبي أسلوب التدريب المعتمد في Word2Vec.

يدمج خط تدريب Word2Vec الكامل الإسهامات الثلاثة في سلسلة خطوات واضحة:

الخطوة 1 — كشف العبارات. امسح المدوَّنة النصية وادمج الأزواج ذات الدرجات العالية في وحدات مفردة، ثم كرّر لاكتشاف عبارات أطول.

الخطوة 2 — بناء القاموس. عُدّ كل الوحدات المدمجة واستبعد ما يقل تكراره عن حدّ أدنى.

الخطوة 3 — تقليص الكلمات المتكررة. في كل جملة تدريب، احذف كلمات عشوائياً باحتمال مرتبط بتكرارها. يُسرّع هذا التدريب ويحسّن جودة التمثيل في آن واحد.

الخطوة 4 — التدريب بـالتعيين السلبي. لكل زوج مركز-سياق ناجٍ: قرِّب متجهيهما من بعضهما، ثم اسحب $k$ كلمة ضوضاء وأبعد متجهاتها عن الكلمة المركزية. حدِّث الأوزان بـالانحدار التدريجي العشوائي.

النتيجة: مصفوفة تضمينات كثيفة — متجه لكل كلمة — تُرمِّز فيها العلاقات الهندسية معانيَ دلالية. تدريب النموذج على مدوَّنة بمليار كلمة يستغرق ساعات لا أسابيع.

قد يبدو أنّ جمع المتجهات وطرحها لالتقاط التشبيهات الدلالية ضربٌ من السحر. الورقة تقدّم تفسيراً حدسياً ينطلق من طبيعة هدف التدريب ذاته.

احتمالات Skip-gram تُحسب عبر أُسِّيات الضرب النقطي. حين نأخذ اللوغاريتم يتحوّل الضرب إلى جمع. فإذا كانت كلمات تربطها علاقة معيّنة تظهر باستمرار في سياقات متشابهة، فإنّ متجه الإزاحة بينها يشير في اتجاه ثابت. جمع هذه الإزاحات وطرحها يتيح التنقل في الفضاء على طول محاور دلالية واضحة.

هذه ليست خاصية مضمونة لكل تضمين — بل تنبثق لأنّ هدف Skip-gram يلتقط ضمنياً نسب اللوغاريتم الاحتمالي لإحصاءات التلازم. أثبتت أعمال لاحقة (Levy وGoldberg، 2014) هذه العلاقة رياضياً: Skip-gram مع التعيين السلبي يفكّك ضمنياً مصفوفة المعلومات المتبادلة النقطية المُنزاحة (shifted PMI).

الإسهام الأبقى لـWord2Vec ليس مجموعة متجهات بعينها — بل الفكرة القائلة إنّ التنبؤ غير الموجَّه بالتلازم يُنتج تمثيلات منظَّمة. كل نموذج حديث خضع لـتدريب مسبق، من BERT إلى GPT، يعود في جذوره إلى هذه الرؤية: تعلّم من السياق، وسينبثق المعنى في هندسة الفضاء المُتعلَّم.