شبكة الاهتمام العميق للتنبؤ بمعدّل النقر

في عالم إعلانات التجارة الإلكترونية، كلّما زار مستخدم صفحةً ما، يحتاج النظام أن يقرّر أيّ إعلان يعرض له. جوهر هذا القرار هو التنبؤ بمعدّل النقر: ما احتمال أن ينقر هذا المستخدم بالذات على هذا الإعلان بالذات؟

حتى عام 2017، كان النهج السائد يعمل كالتالي: تؤخذ سلوكيات المستخدم — السلع التي تصفّحها والتصنيفات التي نقر عليها — وتُرمَّز كمتّجهات تضمين كثيفة، ثم تُجمَّع كلها في متّجه واحد ثابت الطول عبر التجميع بالجمع أو بالمتوسّط. بعد ذلك يُدمج هذا المتّجه مع سمات الإعلان ويُمرَّر إلى شبكة متعددة الطبقات.

الخلل الجوهري هنا أن متّجه المستخدم يبقى هو نفسه بصرف النظر عن الإعلان. تصوّر أمّاً شابة تصفّحت المعاطف والأقراط وحقائب اليد وألعاب الأطفال — كل هذه الاهتمامات المختلفة مضغوطة في نقطة واحدة في فضاء التضمين. حين يظهر إعلان حقيبة يد، لا يملك النظام طريقة لتكبير الجزء المتعلّق بالحقائب من سجلّها واستبعاد الباقي، بل يستخدم الكتلة المضغوطة كلها. الحل البديهي هو توسيع بُعد المتّجه، لكن حين تصل أبعاد معرّفات السلع إلى 600 مليون، يقود ذلك إلى فرط تخصيص كارثي.

بيانات التنبؤ بمعدّل النقر تصنيفية بطبيعتها ومقسّمة إلى مجموعات. كل عيّنة تبدو مثل: [يوم_الأسبوع=الجمعة، الجنس=أنثى، تصنيفات_متصفَّحة={حقائب، كتب}، تصنيف_الإعلان=كتب]. كل مجموعة تُرمَّز بترميز أحادي (one-hot) أو متعدد (multi-hot). مثلاً، حقل التصنيفات المتصفَّحة بتصنيفين نشطين يتحوّل إلى متّجه بقيمتَي 1 فقط.

هذه المتّجهات ضخمة بشكل هائل — معرّف السلعة وحده يصل إلى نحو 600 مليون بُعد في نظام علي بابا. طبقة التضمين تأخذ كل معرّف نَشِط وتُسقطه على متّجه كثيف مُتعلَّم ببُعد $D$ (يساوي 12 عادةً في الإنتاج). السمات أحادية القيمة تُنتج متّجه تضمين واحداً، أمّا السمات متعددة القيم فتُنتج قائمة من متّجهات التضمين يختلف طولها من مستخدم لآخر.

المشكلة الآن: كيف نغذّي قائمة متغيّرة الطول في شبكة متعددة الطبقات ذات مدخل ثابت؟ الحل التقليدي هو طبقة تجميع — بالجمع أو بالمتوسّط — تضغط القائمة في متّجه واحد. وهذا بالضبط هو عنق الزجاجة الذي تسعى شبكة الاهتمام العميق لكسره.

الفكرة بسيطة وأنيقة: ليست كل السلوكيات الماضية بنفس الأهمية لكل إعلان. حين يظهر لك إعلان حقيبة يد، تصفّحك السابق لحقائب اليد والحقائب الجلدية أهمّ بكثير من الحذاء الرياضي الذي شاهدته الأسبوع الماضي. لذلك تُدخل الشبكة وحدة تفعيل محلية — وهي شبكة تغذية أمامية صغيرة تُعطي كل سلوك تاريخي درجة صلة بالإعلان المرشّح.

تخيّلها كـكشّاف ضوء على خشبة مسرح: الإعلان المرشّح يلعب دور المخرج الذي يقرّر مَن يُضاء. إعلان حقيبة يد؟ تُنار الحقائب. إعلان حذاء رياضي؟ يُنار قسم الأحذية. السلوكيات ذات الأوزان العالية تهيمن على تمثيل المستخدم، بينما السلوكيات البعيدة عن الإعلان تتراجع إلى الخلفية.

النقطة المهمة هنا: على عكس الانتباه المعتاد في الترجمة الآلية، الشبكة لا تُطبّق softmax على الأوزان لتجعل مجموعها يساوي 1. لماذا؟ لأنها تريد الحفاظ على شدّة الاهتمام. مستخدم بنسبة 90% سلوكيات ملابس سيُنتج تفعيلاً إجمالياً عالياً لإعلان قميص، ومنخفضاً لإعلان هاتف. لو سوّينا الأوزان بـsoftmax لأصبح المجموع واحداً في الحالتين وضاع هذا الفرق الدالّ.

دالة التفعيل $a(e_j, \mathbf{v}_A)$ تستقبل ثلاثة مدخلات: تضمين السلوك $e_j$، وتضمين الإعلان $\mathbf{v}_A$، والجداء الخارجي بينهما $e_j \otimes \mathbf{v}_A$. فائدة الجداء الخارجي أنه يوفّر للشبكة الصغيرة معلومات صريحة عن العلاقة بين السلوك والإعلان، فتتعلّم أنماط الصلة بسرعة أكبر. المخرج وزن عددي واحد يعبّر عن مدى أهمية هذا السلوك لهذا الإعلان.

الهيكل العام للشبكة يشبه النموذج الأساسي — تضمين ثم شبكة متعددة الطبقات — لكن الفرق الجوهري أنها تستبدل طبقة التجميع البسيطة بوحدة التفعيل المحلية. مسار البيانات يمرّ بخمس مراحل:

1. طبقة التضمين — كل معرّف سمة (معرّف السلعة، المتجر، التصنيف) يُسقَط على متّجه كثيف ببُعد $D$.

2. وحدة التفعيل المحلية — لكل سلوك في سجلّ المستخدم، تحسب شبكة التفعيل $a(\cdot)$ درجة صلته بالإعلان المرشّح. ثم تُستخدم هذه الأوزان في مجموع موزون (وليس متوسّطاً) لتضمينات السلوكيات، فنحصل على $\mathbf{v}_U(A)$.

3. الدمج — يُدمَج $\mathbf{v}_U(A)$ مع تضمين الإعلان وسمات الملف الشخصي وسمات السياق.

4. الشبكة متعددة الطبقات — طبقات متصلة بالكامل (192 ← 200 ← 80 ← 2 في الإنتاج) تتعلّم التفاعلات اللاخطية بين السمات.

5. دالة الخسارة — الانتروبيا التقاطعية الثنائية لتصنيف نقر/عدم نقر.

حين نتحدّث عن تدريب شبكات عميقة على بيانات بحجم بيانات علي بابا — ملياري عيّنة و600 مليون سمة لمعرّفات السلع — يبرز تحدّيان عمليان تحلّهما الورقة بتقنيتين مبتكرتين.

اختُبرت الشبكة على ثلاث مجموعات بيانات متدرّجة الحجم: أمازون إلكترونيات (1.7 مليون عيّنة)، وMovieLens (20 مليون عيّنة)، وبيانات الإنتاج من علي بابا (2.14 مليار عيّنة). في الثلاث جميعها تفوّقت على النموذج الأساسي وWide&Deep وPNN وDeepFM.

أبرز النتائج ظهرت على بيانات أمازون حيث سلوكيات المستخدمين أغنى وأكثر تنوّعاً: التحسّن النسبي بلغ 5.35% فوق النموذج الأساسي، وقفز إلى 6.82% بعد إضافة Dice. أمّا على بيانات علي بابا الضخمة، فحقّقت الشبكة مع تسوية MBA ودالة Dice تحسّناً نسبياً بنسبة 11.65% — أي زيادة مطلقة في AUC مقدارها 0.0113، وهو رقم له أثر تجاري حقيقي على هذا النطاق.

في الاختبارات الحيّة (A/B) على مدى شهر تقريباً، حقّقت الشبكة تحسّناً بنسبة 10% في معدّل النقر وزيادة بنسبة 3.8% في العائد لكل ألف ظهور مقارنةً بالنموذج السابق. ومنذ ذلك الحين اعتُمدت كنموذج الإعلانات الرئيسي في علي بابا.

في الانتباه المعتاد (كما في المُحوِّل)، تُسوَّى الأوزان عبر softmax لتجمع إلى 1. الشبكة هنا تتخلّى عن هذا القيد عمداً. والسبب واضح حين نفكّر بمثال:

خُذ مستخدماً 90% من سجلّه ملابس و10% إلكترونيات. حين يظهر إعلان قميص، معظم سلوكياته ذات صلة — مجموع أوزان التفعيل يكون رقماً كبيراً يعكس شدّة اهتمام عالية. أمّا حين يظهر إعلان هاتف، فعُشر السلوكيات فقط ينشط — والمجموع صغير يعكس شدّة اهتمام منخفضة. لو طبّقنا softmax لأجبرنا المجموعَين على أن يساويا 1، وضاعت هذه الإشارة المهمّة تماماً. الشبكة متعددة الطبقات اللاحقة ستضطر حينها لإعادة اكتشاف معلومة الشدّة من الصفر.

هذه مقايضة واعية: الشبكة تتنازل عن التفسير الاحتمالي للأوزان مقابل معلومات أغنى عن مدى ارتباط سجلّ المستخدم بالإعلان. وهو اختيار عملي أثبتت النتائج صوابه.

الفكرة الجوهرية — أن تمثيل المستخدم ينبغي أن يتشكّل حسب ما نسأل عنه — هي في حقيقتها حالة خاصة من مبدأ أعمّ: التمثيل المعتمد على السياق. انتباه المُحوِّل يجعل تمثيل الكلمة يعتمد على الجملة، وBERT يجعله يعتمد على السياق من الاتجاهين. ما فعلته شبكة الاهتمام العميق هو إثبات أن المبدأ نفسه يعمل بالفعالية ذاتها في أنظمة التوصية.