BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل

الهدف من التوصية التسلسلية هو التنبؤ بما سيتفاعل معه المستخدم لاحقًا، بناءً على سجلّه الزمني من نقرات ومشتريات وتقييمات. والفكرة الأساسية هنا أن الترتيب مهم: مشاهدة Inception ثم Interstellar تحمل دلالة تختلف تمامًا عن مشاهدتهما بالترتيب المعاكس.

قبل BERT4Rec، تطوّرت الحلول عبر ثلاث موجات. الموجة الأولى هي طرق سلاسل ماركوف (مثل FPMC) التي افترضت أن العنصر التالي يعتمد فقط على آخر عنصر أو عنصرين — وكأنك تتنبّأ بطقس الغد بالنظر إلى اليوم وحده. الموجة الثانية هي النماذج القائمة على الشبكات التكرارية (GRU4Rec) التي عالجت التسلسل خطوة بخطوة وتحمل حالة خفية للأمام، لكنها عانت من مشكلة تلاشي التدرُّج في التسلسلات الطويلة. أما الموجة الثالثة فهي نماذج الانتباه الذاتي (مثل SASRec) التي سمحت لكل عنصر بالنظر إلى جميع العناصر السابقة دفعة واحدة — وهذا حلّ مشكلة التبعيّات بعيدة المدى — لكنها ظلّت تستخدم قناعًا سببيًا يمنع كل موضع من رؤية ما يأتي بعده.

هذا القناع السببي مستعار أصلًا من نمذجة اللغة، حيث المطلوب التنبؤ بالكلمة التالية. في ذلك السياق يكون الحجب منطقيًا: لا يمكنك الاطّلاع على كلمات لم تُولَّد بعد أثناء التوليد. لكن في التوصية الوضع مختلف — سجلّ المستخدم بأكمله موجود أمامك وقت الاستدلال. حجب السياق الأيمن هنا قيد مصطنع لا مبرّر له، ويُهدر معلومات كان يمكن الاستفادة منها.

الفكرة الجوهرية في BERT4Rec مأخوذة من BERT في معالجة اللغة الطبيعية، وتحديدًا مهمة الإكمال المُقنَّع. في اللغة، يأخذ BERT جملة ويُخفي بعض كلماتها ثم يتعلّم التنبؤ بها من السياق المحيط — من اليمين واليسار معًا. BERT4Rec يُطبّق الفكرة نفسها لكن على العناصر بدلًا من الكلمات: يأخذ تسلسل تفاعلات المستخدم، ويُقنِّع بعض العناصر عشوائيًا، ويُدرِّب النموذج على استرجاعها مستعينًا بالسياق الكامل من الاتجاهين.

لنأخذ مثالًا عمليًا: إذا كان تسلسل المستخدم هو $[v_1, v_2, v_3, v_4, v_5]$، قد يُقنِّع النموذج الموضعين 2 و4 فيصبح التسلسل $[v_1, \texttt{[mask]}, v_3, \texttt{[mask]}, v_5]$. المطلوب الآن استعادة $v_2$ و$v_4$ بالاعتماد على جميع العناصر المتبقية — بما في ذلك العناصر التي تأتي بعد الموضع المُقنَّع. هذا الأمر مستحيل تمامًا لو كنّا نستخدم قناعًا سببيًا.

لكن لماذا هذا مهم عمليًا في التوصية؟ لأن سلوك المستخدم لا يسير في خط مستقيم دائمًا. تخيّل مستخدمًا تصفّح كاميرا، ثم حاملًا ثلاثيًا، ثم بطاقة ذاكرة، ثم حقيبة كاميرا — شراء حقيبة الكاميرا في النهاية يكشف بأثر رجعي لماذا نظر إلى الحامل الثلاثي. السياق ثنائي الاتجاه يلتقط هذا النوع من العلاقات الاستعادية التي لا تستطيع النماذج أحادية الاتجاه رؤيتها.

بنية BERT4Rec هي في جوهرها تكديس لعدد $L$ من طبقات مرمِّز المُحوِّل — نفس اللبنة المستخدمة في BERT لكن بدون قناع سببي. كل طبقة تتكوّن من جزأين: انتباه ذاتي متعدد الرؤوس تليه شبكة تغذية أمامية تعمل على كل موضع مستقلًا. الجزءان يستخدمان اتصالًا متبقيًا وتسوية طبقية.

تمثيل المدخلات يتكوّن من جمع تضمينين معًا. الأول هو تضمين العنصر الذي يحوِّل معرِّف كل عنصر إلى متجه بأبعاد $d$. الثاني هو التضمين الموضعي الذي يُرمِّز ترتيب العنصر داخل التسلسل (الموضع 1، 2، …، $n$). على خلاف المُحوِّل الأصلي الذي استخدم دوال جيبية ثابتة، يستخدم BERT4Rec تضمينات موضعية قابلة للتعلّم — وهو الخيار نفسه الذي اعتمده BERT.

النموذج يعالج تسلسلًا بطول ثابت يضم أحدث $N$ عنصر. إذا كان سجلّ المستخدم أقصر من $N$، يُحشى من البداية برمز حشو خاص. وإذا كان أطول، تُقتطع أقدم العناصر ويُحتفظ بآخر $N$ فقط. هذا قيد عملي بحت الهدف منه إبقاء تكلفة الحساب في حدود معقولة.

تدريب BERT4Rec يتّبع إجراء الإكمال المُقنَّع. في كل تسلسل تدريبي، تُختار نسبة $\rho$ من العناصر عشوائيًا وتُستبدل برمز [mask]. بعدها يحاول النموذج التنبؤ بالعنصر الأصلي في كل موضع مُقنَّع.

دالة الخسارة هي الانتروبيا التقاطعية السالبة — أي اللوغاريتم السالب لاحتمال العنصر الصحيح — وتُحسب فقط عند المواضع المُقنَّعة. أما العناصر الظاهرة فدورها توفير السياق دون أن تُسهم في الخسارة أو تتلقى إشارة تدرُّج. هذا هو بالضبط أسلوب نمذجة اللغة المُقنَّعة في BERT، منقولًا إلى عالم العناصر والتوصيات.

من أهم القرارات التصميمية هنا نسبة التقنيع $\rho$. إذا كانت منخفضة جدًا أصبح التدريب بطيئًا لأن كل تسلسل يُنتج عددًا قليلًا من إشارات التعلّم. وإذا ارتفعت كثيرًا لم يبقَ سياق كافٍ للتنبؤ بدقة. النتائج في الورقة تُظهر أن $\rho = 0.2$ (تقنيع 20%) يناسب التسلسلات القصيرة، بينما $\rho = 0.4$ أفضل للتسلسلات الطويلة — ببساطة لأن السياق المتبقي يظل كافيًا حتى مع تقنيع أكثر.

عند الاستدلال، يتحوّل الهدف من ملء فراغات داخلية إلى التنبؤ بالعنصر التالي فعلًا. الحل الذي يعتمده BERT4Rec أنيق: يُلحق رمز [mask] في نهاية تسلسل المستخدم ويسأل النموذج: ما العنصر الذي ينبغي أن يحلّ محل هذا القناع؟

النموذج يُخرج متجهًا خفيًا $\mathbf{h}_t^L$ عند موضع القناع. هذا المتجه يُسقَط على مصفوفة تضمينات العناصر لإنتاج درجة لكل عنصر في الكتالوج، ثم تُرتَّب العناصر وتُقدَّم أعلى $K$ منها كتوصيات.

هناك نقطة تستحق الانتباه: هدف التدريب (التنبؤ بعناصر مُقنَّعة في أي موضع) يختلف قليلًا عن هدف الاستدلال (التنبؤ بالعنصر التالي في النهاية). لكن التمثيلات الغنية التي تعلّمها النموذج من السياق ثنائي الاتجاه أثناء التدريب تُعوّض هذا الاختلاف بفارق كبير — وهذا بالضبط ما أثبتته التجارب العملية.

قُيِّم BERT4Rec على أربع مجموعات بيانات تمثّل مجالات وأحجامًا متنوعة: Amazon Beauty (صغيرة ومتفرّقة)، وSteam (متوسطة الحجم، مجال الألعاب)، وMovieLens-1m وMovieLens-10m (كبيرة وكثيفة). بروتوكول التقييم يعتمد مبدأ حذف العنصر الأخير: آخر عنصر في سجلّ كل مستخدم يُحجَز للاختبار، والذي قبله للتحقق.

أبرز النتائج عبر جميع المجموعات:

• BERT4Rec يتفوّق على SASRec — وهو أقوى نموذج أحادي الاتجاه — بمتوسط 7.2% في معدل الإصابة@10 و11.7% في NDCG@10. المقارنة هنا عادلة تمامًا: البنية واحدة من المُحوِّل ذاته، والاختلاف الوحيد هو اتجاه التقنيع.

• BERT4Rec يتغلّب على GRU4Rec ونسخته المُحسَّنة GRU4Rec+ بهوامش أكبر، وهذا يؤكّد أن الانتباه الذاتي يتفوّق على الآليات التكرارية في التوصية التسلسلية.

• على أكبر مجموعة (MovieLens-10m)، BERT4Rec بطبقتين فقط يتغلّب على SASRec مع أفضل عمق ممكن. الرسالة واضحة: السياق ثنائي الاتجاه أقيم من مجرد إضافة طبقات.

• تعميق النموذج (طبقات محوِّل أكثر) يُساعد، لكن المكسب الأكبر يأتي من التحوّل من اتجاه واحد إلى اتجاهين — الاتجاه أهم من العمق.

الورقة تُحلِّل بعناية تأثير عدة خيارات تصميمية:

نسبة التقنيع $\rho$: مع التسلسلات القصيرة (مثل مجموعة Beauty)، القيمة المثلى هي $\rho=0.2$. أما مع التسلسلات الطويلة (مثل MovieLens-1m)، فإن $\rho=0.4$ تُعطي نتائج أفضل لأن عدد العناصر المتبقية يظل كافيًا حتى مع تقنيع نسبة أكبر. هذا يُشبه ما وجده BERT في اللغة حيث كانت نسبة 15% مناسبة — والنسبة المثلى تعتمد على طول التسلسل وكثافته.

عدد الطبقات $L$: الأداء يتحسّن بوضوح عند الانتقال من طبقة واحدة إلى اثنتين في جميع المجموعات، ومن اثنتين إلى ثلاث في المجموعات الأكبر. بعد ذلك تبدأ المكاسب بالتوقف أو حتى التراجع بسبب فرط التخصيص. الاختيار الأفضل في أغلب الحالات هو طبقتان.

أقصى طول للتسلسل $N$: السجلّات الأطول تُفيد حتى نقطة معيّنة ($N=50$ للمجموعات الصغيرة، $N=200$ لـ MovieLens-10m). بعد هذا الحد يُسيطر الحشو على التسلسل ويبدأ الأداء بالتراجع.

عدد رؤوس الانتباه $h$: القيمة الافتراضية $h=2$ تعمل جيدًا. زيادة عدد الرؤوس لا تُحسِّن الأداء بشكل ثابت لأن كل رأس يحصل على أبعاد أقل، والعلاقات بين العناصر أبسط بطبيعتها من العلاقات اللغوية.

الإسهام الأبرز لـ BERT4Rec هو نقل فكرة بسيطة لكنها مؤثرة: ماذا لو تعاملنا مع تسلسلات تفاعلات المستخدم بنفس الطريقة التي يتعامل بها BERT مع الجمل؟ نُقنِّع بعض العناصر ونتنبّأ بها من السياق الكامل، ونترك النموذج يكتشف بنفسه أيّ العناصر تُفسِّر أيّ عناصر أخرى — بصرف النظر عن ترتيبها الزمني. المحصلة هي نموذج توصية يفهم نوايا المستخدم بعمق أكبر، لأنه يقرأ القصة من طرفيها لا من بدايتها فقط.