PinSage: شبكات التفاف بيانية لأنظمة التوصية على نطاق الويب

في Pinterest نوعان من الكيانات: الصور (pins) ومعها بياناتها الوصفية، واللوحات (boards) وهي مجموعات يصنعها المستخدمون. كل مرة يحفظ مستخدمٌ صورةً في لوحة يُنشأ ضلع بينهما، والنتيجة رسم بياني ثنائي الأطراف: الصور ترتبط باللوحات واللوحات ترتبط بالصور، لكن لا يوجد ارتباط مباشر بين صورتين.

حجم هذا الرسم البياني عند نشر الورقة كان هائلاً: 3 مليارات عقدة (2 مليار صورة + مليار لوحة) و18 مليار ضلع. القيمة الأساسية هنا أن صورتين في اللوحة نفسها ترتبطان ضمنياً — فمستخدم يحفظ وصفة معكرونة ولوح تقطيع خشبي في لوحة «أفكار للمطبخ» يُخبر النظام أن هذين العنصرين ينتميان معاً. هذه إشارة لا يلتقطها أيّ مصنّف صور مهما كانت دقّته.

الفكرة الجوهرية هنا أن هوية الصورة لا تتحدّد ببكسلاتها وحدها، بل أيضاً بالصور التي تجاورها. صورة حاجز سرير قد تبدو لنموذج رؤية حاسوبية وكأنها سياج حديقة، لكن جوارها في الرسم البياني — أثاث غرف نوم ومراتب وطاولات جانبية — يكشف تصنيفها الحقيقي. ما يتعلّمه PinSage هو دمج هاتين الإشارتين: سمات الصورة الذاتية من بصريات ونصوص، والسمات المُجمَّعة من جيرانها في الرسم البياني.

الالتفاف البياني التقليدي يحتاج ضرب سمات العقد في مصفوفة لابلاس الكاملة عند كل طبقة — مصفوفة بـ 3 مليارات صف وعمود. هذا مستحيل عملياً.

GraphSAGE حلّ جزءاً من المشكلة: بدلاً من مصفوفة التجاور الكاملة، يأخذ عدداً ثابتاً من الجيران لكل عقدة. لكنه ظلّ يفترض أن الرسم البياني كاملاً يتسع في ذاكرة GPU، وكان يُعامل كل جار بنفس الأهمية بصرف النظر عن قوة العلاقة.

PinSage يتجاوز القيدين معاً: يستخدم المشي العشوائي لتحديد جوار مرجَّح بالأهمية، وبنية مُنتِج-مستهلِك لا تُبقي على GPU إلا الدُّفعة الحالية بينما يُجهّز CPU الدفعة التالية.

أخذ جميع العقد ضمن $k$ قفزات ينفجر أسّياً، فالعقدة المشهورة قد تجرّ معها ملايين الجيران. بدلاً من ذلك، يُطلق PinSage سلسلة مشيات عشوائية قصيرة من العقدة المستهدفة ويحسب كم مرة مرّ بكل جار. الجيران الأكثر زيارةً هم الأكثر أهمية — لأنهم يظهرون على مسارات عديدة من العقدة المستهدفة، وهذا دليل على ارتباط بنيوي قوي.

تخيّل الأمر كممرّات حديقة عامة: الممرّات الأكثر اهتراءً تدلّك على الوجهات الأهم. عقدة زيرَت 50 مرة من أصل 200 مشية أهمّ بكثير من عقدة زيرَت مرة واحدة.

رياضياً، أعداد الزيارات هذه تُقارب درجات ترتيب الصفحات الشخصي بالنسبة للعقدة المستهدفة. نختار أعلى $T$ عقدة من حيث الزيارات لتصبح جوار العقدة، ونستخدم أعداد الزيارات المُقيَّسة أوزانَ أهمية أثناء التجميع.

في كل طبقة، تمرّ كل عقدة بثلاث خطوات لتحديث تمثيلها. تخيّل العقدة مديراً يُلخّص آراء فريقه بعد اجتماع:

الخطوة الأولى — الجمع والتحويل: سمات كل جار تمرّ عبر طبقة كثيفة مشتركة بين جميع الجيران، فتُنتج تمثيلاً مُحوَّلاً لكل منهم.

الخطوة الثانية — التجميع بالأهمية: نأخذ المتوسط المُرجَّح للسمات المُحوَّلة باستخدام أوزان المشي العشوائي. هذا أشبه بتصويت مُرجَّح — الجيران المهمّون لهم صوت أعلى.

الخطوة الثالثة — الدمج مع الذات: متجه الجوار المُجمَّع يُسلسَل مع تمثيل العقدة الحالي، ثم يمرّ عبر طبقة كثيفة أخرى ويُقيَّس. الناتج هو تمثيل العقدة الجديد، مُعزَّز بسياق الجوار.

في GraphSAGE كل الجيران المُعاينين يُسهمون بالتساوي: التجميع بالمتوسط أو بالقيمة العظمى يُعامل كل جار بنفس الوزن. PinSage يستبدل هذا بـ التجميع بالأهمية — متوسط مُرجَّح يكون فيه وزن كل جار $v$ هو عدد زياراته المُقيَّس $\alpha_v$ من المشي العشوائي.

الأثر ملموس جداً: لو أطلقت 200 مشية عشوائية من صورة وصفة معكرونة، وزارت لوحة «أدوات الطبخ» 50 مرة بينما زارت لوحة «طرائف عشوائية» مرتين فقط، فإن لوحة أدوات الطبخ تُسهم بصوت أعلى 25 ضعفاً في التمثيل النهائي. بهذه الطريقة يتشكّل تمثيل العقدة أساساً من جيرانه الأكثر ارتباطاً بنيوياً، دون أن يُخفّفه جيران بعيدون أو عَرَضيون.

هدف التدريب واضح: دفع تضمينات الصور المترابطة لتقترب من بعضها، وإبعاد الصور غير المترابطة. أزواج التدريب تأتي من سجلات سلوك المستخدمين: صورتان حُفظتا في اللوحة نفسها خلال ساعة واحدة تُعدّان زوجاً إيجابياً. أما صورة مُختارة عشوائياً فتُشكّل زوجاً سلبياً — والاحتمال الأغلب أنها غير مرتبطة.

دالة الخسارة هي خسارة الهامش الأقصى: تشترط أن يتجاوز الضرب النقطي بين صورة الاستعلام $q$ ونظيرتها الإيجابية $i$ الضرب النقطي مع كل عيّنة سلبية $n_k$ بهامش لا يقلّ عن $\Delta$.

مشكلة السلبيات السهلة. صورة مُختارة عشوائياً من ملياري صورة تختلف في الغالب اختلافاً بديهياً عن الاستعلام — كأنك تسأل «هل وصفة معكرونة مرتبطة بدراجة نارية؟» النموذج يتعلم هذه الفوارق الواضحة بسرعة ثم يتوقف عن التحسّن.

الحل: سلبيات صعبة عبر ترتيب الصفحات الشخصي. يحسب PinSage درجات PageRank الشخصي لكل صورة استعلام ويختار السلبيات الصعبة من المرتبة 2000–5000 — صور مرتبطة نوعاً ما لكنها ليست تطابقات حقيقية. هذا يُجبر النموذج على تعلّم فوارق دقيقة.

التعلم بالمنهج التدريجي يمنع السلبيات الصعبة من إرباك نموذج لم يُدرَّب بعد. في الحقبة $n$ يحصل النموذج على $n-1$ سلبية صعبة لكل مثال، بدءاً من الصفر. يُتقن أولاً الفوارق الواضحة ثم يواجه تدريجياً فوارق أدقّ — كطالب يبدأ بالجمع ثم ينتقل إلى الجبر. هذا المنهج وحده حقّق تحسّناً بنسبة 12%.

تدريب شبكة عصبية بيانية على مليارات العقد يتطلب تنسيقاً دقيقاً بين CPU وGPU. يستخدم PinSage أنبوب مُنتِج-مستهلِك: بينما يُعالج GPU الدُّفعة الحالية (تمرير أمامي، تمرير عكسي، تحديث التدرّجات)، يُحضّر CPU في الوقت ذاته جوار العقد ويجلب سماتها للدُّفعة التالية. النتيجة أن GPU — المورد الأغلى — لا يُضيّع لحظة انتظار.

أما بعد التدريب، فلتوليد تضمينات لكل العقد البالغة 3 مليارات، يستخدم PinSage أنبوب MapReduce من مرحلتين. المرحلة الأولى تُسقط سمات كل عقدة إلى الفضاء منخفض الأبعاد. المرحلة الثانية تربط كل عقدة بسمات جيرانها المُسقَطة وتحسب التجميع. الفائدة الأساسية أن سمات كل عقدة تُسقَط مرة واحدة فقط، حتى لو ظهرت كجار لآلاف العقد الأخرى.

قُيِّم PinSage على مهمتين: توصية الصور المرتبطة (أعطِ صورة استعلام ورتّب الصور الأقرب إليها) وتوصية الصفحة الرئيسية (رشّح للمستخدم صوراً يُرجَّح أن يحفظها).

في التقييم دون اتصال على مهمة الصور المرتبطة، حقّق PinSage معدل إصابة 67% ومتوسط رتبة عكسية 0.59 — أي تحسّن نسبي 150% في معدل الإصابة و60% في MRR مقارنة بأفضل خط مرجعي (Pixie، أسلوب قائم على المشي العشوائي). أساليب المحتوى وحده — السمات البصرية والنصية ومزيجهما — سجّلت نتائج أقل بكثير.

دراسات الاستئصال أكّدت أثر كل ابتكار: التجميع بالأهمية مع السلبيات الصعبة (PinSage الكامل) تفوّق باستمرار على التجميع بالقيمة العظمى والمتوسط وعلى النسخ بدون سلبيات صعبة. كذلك أظهر توزيع التضمينات أن متجهات PinSage أكثر انتشاراً في الفضاء (تفرطح 0.43 مقابل 2.49 للتضمينات النصية)، ما يعني استغلالاً أفضل لفضاء التمثيل.

وفي اختبارات A/B الحية داخل Pinterest، رفعت توصيات PinSage التفاعل بشكل قابل للقياس، واعتُمد النظام لخدمة التوصيات عبر المنصة بأكملها.

قبل PinSage، كانت الشبكات العصبية البيانية أدوات أكاديمية بامتياز — نتائج مبهرة على Cora وCiteseer (بضعة آلاف عقدة)، لكن لم يُثبت أحدٌ أنها تعمل على النطاق الحقيقي. PinSage أثبت ثلاثة أمور رسمت ملامح المجال:

أولاً، أن بنية الرسم البياني سمة قوية تُكمّل سمات المحتوى. مثال حاجز السرير مقابل سياج الحديقة أصبح المثال المرجعي لأهمية سياق الرسم البياني.

ثانياً، أن الهندسة الذكية تجعل الالتفاف البياني عملياً: جوار المشي العشوائي، وتدريب المُنتِج-المستهلِك، واستدلال MapReduce ليست إسهامات نظرية — إنها ابتكارات هندسة أنظمة حوّلت فكرة بحثية إلى نظام إنتاجي.

ثالثاً، أن استراتيجية التدريب لا تقلّ أهمية عن البنية المعمارية: التجميع بالأهمية والتعلم بالمنهج أسهما بمكاسب أداء (46% + 12%) تفوق أي تغيير معماري.