الشبكات العصبية العميقة لتوصيات يوتيوب

يوتيوب يواجه ثلاثة تحديات في آنٍ واحد تجعل مسألة التوصيات صعبة جداً على هذا النطاق:

• الحجم. مليارات الفيديوهات، مليارات المستخدمين، والنظام مطلوب منه الردّ في أجزاء من الثانية. لا يمكن لأيّ نموذج أن يُقيّم كل فيديو لكل مستخدم.
• الحداثة. كل ثانية يُرفع محتوى جديد بالساعات، والمستخدمون يميلون للجديد. لكن نماذج التعلّم العميق المدرَّبة على بيانات تاريخية تكتسب انحيازاً ضمنياً نحو الفيديوهات القديمة لأنها رأتها تنجح أكثر.
• الضوضاء. التقييمات الصريحة (إعجاب/عدم إعجاب) نادرة. الإشارة الأساسية هي التغذية الراجعة الضمنية — ماذا نقر المستخدم وكم من الوقت شاهد. النقرة وحدها غير موثوقة: فيديوهات الطُّعم الإعلاني تحصد نقرات لكنها لا تُحقّق وقت مشاهدة حقيقياً.

الحل هو بناء قمع من مرحلتين (نظام توصيات ذو مرحلتين). المرحلة الأولى (توليد المرشّحين) تُصفّي مليارات الفيديوهات بسرعة وتُخرج منها مئات. المرحلة الثانية (الترتيب) تفحص تلك المئات بعناية وتُرتّبها في قائمة نهائية. بهذا الشكل يكون النظام واسع التغطية — لا يُفلت منه شيء جيد — ودقيقاً في الوقت نفسه.

الفكرة الجوهرية في نموذج توليد المرشّحين هي التعامل مع التوصية على أنها مسألة تصنيف متعدد الفئات بحجم هائل. بمعنى آخر: لو عرفنا سجلّ المستخدم وسياقه، أيّ فيديو واحد — من بين ملايين — سيشاهده بعد ذلك؟ كل فيديو في المكتبة يُعامَل كفئة مستقلة. النموذج يتعلّم تضميناً للمستخدم $\mathbf{u}$، وعندما نحسب الضرب النقطي بينه وبين تضمين كل فيديو $\mathbf{v}_j$ نحصل على توزيع احتمالي عبر softmax يغطّي المكتبة بأكملها.

الفكرة مستوحاة مباشرة من Word2Vec: كما يتنبّأ Word2Vec بكلمة من سياقها، هنا نتنبّأ بالفيديو التالي من سياق المستخدم. والمقصود بـ«السياق» ثلاثة أشياء: سجلّ المشاهدة (معرِّفات الفيديوهات تُحوَّل إلى تضمينات ويُحسب متوسطها)، وسجلّ البحث (الاستعلامات تُحوَّل إلى تضمينات كلمات ويُحسب متوسطها)، وسمات ديموغرافية وجغرافية.

هناك عدة قرارات تصميمية مهمة في هذا النموذج:

• التنبؤ بالمشاهدة التالية، لا بمشاهدة عشوائية محجوبة. بيانات التدريب مرتَّبة زمنياً: بناءً على كل ما شاهده المستخدم قبل اللحظة $t$، يتنبّأ النموذج بما سيشاهده عندها. هذا يُحاكي السلوك الحقيقي — المستخدم يبدأ بالمحتوى الشائع ثم يتعمّق تدريجياً في مجالات أكثر تخصّصاً.
• استخدام جميع المشاهدات، لا فقط تلك القادمة من نظام التوصيات. إدراج المشاهدات من البحث والروابط الخارجية والتصفّح يمنع النموذج من الوقوع في حلقة تغذية راجعة يُعزّز فيها انحيازاته الخاصة.
• وزن متساوٍ لكل مستخدم. بدون هذا التصحيح، شريحة صغيرة من المستخدمين الذين يشاهدون بكثافة ستُهيمن على دالة الخسارة. الوزن المتساوي يضمن أن النموذج يخدم المستخدم العادي بنفس الجودة.

النماذج المدرَّبة على بيانات تاريخية تعاني من مشكلة بنيوية: الفيديوهات القديمة ظهرت في البيانات مرات كثيرة ونجحت، بينما الفيديو الجديد تماماً لا دليل على نجاحه لأنه ببساطة لم يكن موجوداً وقت التدريب. النتيجة أن النموذج يميل تلقائياً لترشيح المحتوى القديم «المضمون» ويتحفّظ تجاه كل ما هو جديد.

المشكلة أنّ مستخدمي يوتيوب يريدون العكس تماماً — يريدون الجديد. المحتوى الطازج يدفع التفاعل، والفيديوهات التي تنتشر بسرعة يجب أن تظهر فوراً وإلا فقدت قيمتها. لحلّ هذه المشكلة ابتكر المؤلفون سمة بسيطة وفعّالة: عمر المثال التدريبي، وتُعرَّف بأنها $t_{max} - t_N$ حيث $t_{max}$ هو آخر وقت في مجموعة التدريب و$t_N$ هو الطابع الزمني لذلك المثال.

أثناء التدريب يتعلّم النموذج كيف تتغيّر شعبية الفيديو بتغيُّر عمره. عند الاستدلال نضبط هذه السمة على صفر (أو قيمة سالبة بسيطة)، أي نقول للنموذج عملياً: «افترض أنّ الفيديو رُفع الآن.» التأثير كبير — تنبّؤات النموذج تتحوّل من توزيع يفضّل القديم إلى توزيع يعكس رغبة المستخدم الحقيقية في المحتوى الحديث.

شبكة الترتيب تستقبل بضع مئات من المرشّحين الذين أفرزتهم المرحلة الأولى، ومهمّتها تسجيل كل واحد منهم بدرجة. لأنّ العدد صار صغيراً نسبياً، يستطيع النموذج هنا أن يستخدم سمات أغنى بكثير — مئات السمات — تصف العلاقة بين المستخدم وكل فيديو بالتحديد.

السؤال الأهمّ هو: ماذا نُحسِّن بالضبط؟ لو رتّبنا الفيديوهات بناءً على معدّل النقر لكافأنا الطُّعم الإعلاني: فيديوهات بصور مصغّرة مُثيرة تجذب النقرات لكنّ المستخدم يُغادرها بعد ثوانٍ. الحلّ أن يتنبّأ النموذج بـوقت المشاهدة المتوقع — كم ثانية سيقضيها المستخدم فعلاً في المشاهدة. بهذا يتوافق هدف النموذج مع ما يهمّ المستخدم حقاً.

المعمارية شبكة تمرير أمامي عميقة، لكنّ المخرج يُدرَّب عبر انحدار لوجستي موزون: الأمثلة الإيجابية (فيديوهات نقر عليها المستخدم) تأخذ وزناً يساوي وقت المشاهدة الفعلي، والأمثلة السلبية (فيديوهات عُرضت ولم يُنقر عليها) تأخذ وزن واحد. عند الاستدلال يُقارب الناتج اللوجستي وقت المشاهدة المتوقع مباشرةً — وهذه نتيجة رياضية طبيعية لمنظومة الأوزان المستخدمة.

رغم الاعتقاد بأنّ التعلّم العميق سيُغني عن هندسة السمات اليدوية، وجد المؤلفون أنّ التصميم الدقيق للسمات لا يزال ضرورياً. نموذج الترتيب يعتمد على مئات السمات من عدة فئات:

• إشارات التفاعل بين المستخدم والفيديو: كم مرة شاهد هذا المستخدم فيديوهات من هذه القناة؟ متى كانت آخر مرة شاهد فيها محتوى عن هذا الموضوع؟ كم مرة عُرض عليه محتوى مشابه ولم ينقر عليه؟
• سمات التضمين: تضمين الفيديو المُتعلَّم وتضمين المستخدم من مرحلة توليد المرشّحين يُستخدمان مشتركين عبر السمات. تضمين معرِّف الفيديو نفسه يظهر مرتين: مرة يُمثّل «الفيديو الذي نُقيّمه» ومرة يُمثّل «آخر فيديو شاهده المستخدم».
• تسوية السمات المستمرة: السمات الخام مثل «عدد المشاهدات السابقة» توزيعها منحرف بشدة (بعض المستخدمين يشاهدون آلاف الفيديوهات). الحلّ هو تسويتها إلى المجال $[0,1]$ ثم تغذية الشبكة بقواها أيضاً: $\tilde{x}$ و$\tilde{x}^2$ و$\sqrt{\tilde{x}}$. بهذا تحصل الشبكة على تحويلات فوق-خطية ودون-خطية بدون أي تكلفة إضافية.

المؤلفون جرّبوا بشكل منهجي بنى مختلفة: من طبقة مخفية واحدة إلى أربع طبقات، ومن 256 وحدة عرضاً إلى 1024. كل طبقة إضافية وكل زيادة في العرض حسّنت المقاييس غير المتّصلة (MAP على بيانات الاختبار) والمقاييس الحيّة في تجارب A/B (وقت المشاهدة). النموذج الإنتاجي يستخدم برجاً من الطبقات: 1024 ← 512 ← 256 في شبكة توليد المرشّحين.

قد تبدو هذه النتيجة واضحة اليوم، لكن في 2016 كانت دليلاً عملياً مهمّاً على أنّ زيادة العمق والعرض تنعكس فعلاً على جودة التوصيات في الإنتاج — وليس فقط على ورق المعايير الأكاديمية. هذا الدليل ساعد في تبرير الاستثمار الكبير في بنية التعلّم العميق التحتية لأنظمة التوصيات في الصناعة.

بالإضافة إلى المعمارية، تُقدّم الورقة خبرات هندسية عملية اكتُسبت من التجربة:

• المقاييس غير المتّصلة مقابل المقاييس الحيّة. الدقة والاسترجاع على بيانات الاختبار كثيراً ما لا ترتبط بنتائج تجارب A/B الحيّة. المؤلفون يُؤكّدون أنّ التجارب الحيّة هي المقياس الوحيد الذي يُعتمد عليه، وينصحون بعدم الثقة المفرطة في التحسينات غير المتّصلة.
• التغذية الراجعة الضمنية على نطاق واسع. التدريب على جميع مشاهدات يوتيوب (من بحث وروابط خارجية وتصفّح، وليس فقط مشاهدات جاءت من نظام التوصيات) يقطع حلقات التغذية الراجعة التي قد تجعل النظام يُكرّر أخطاءه.
• نظام بمليار مُعامل. النماذج تحتوي على نحو مليار معامل، مدرَّبة على مئات المليارات من الأمثلة. في 2016 كان هذا الحجم غير مألوف لأنظمة التوصيات، وكان مؤشّراً مبكراً على اتجاهات التوسّع التي سيطرت لاحقاً على معالجة اللغة والرؤية الحاسوبية.

ورقة توصيات يوتيوب تقع عند نقطة تحوّل في تاريخ المجال: أثبتت أنّ التعلّم العميق قادر على إزاحة التصفية التعاونية المضبوطة يدوياً حتى على أكبر نطاق ممكن، وبنيتها ذات المرحلتين أصبحت الأساس الذي بُني عليه الجيل التالي من أنظمة التوصيات — من Wide & Deep إلى DIN وما بعدهما.