WebGPT: الإجابة عن الأسئلة بمساعدة متصفّح ويب وتغذية راجعة بشرية

الفكرة المحورية هنا أبسط مما تتوقّع: بدلاً من بناء بنية عصبية جديدة لتحسين استرجاع المعلومات، أعطى الباحثون GPT-3 أداة موجودة وفعّالة — محرّك بحث Bing — لكن من خلال واجهة نصّية بالكامل. في كل خطوة، يرى النموذج اللغوي ملخّصاً نصّياً يصف حالة المتصفّح: السؤال المطروح، والجزء الظاهر من صفحة الويب، وموضع شريط التمرير، وقائمة بما فعله سابقاً. بناءً على ذلك يختار أمراً واحداً من مجموعة محدّدة: يبحث، أو ينقر على رابط، أو يمرّر الصفحة، أو يقتبس فقرة، أو يُنهي التصفّح — ثم تتكرّر العملية.

تصوّر الأمر كمتصفّح يعمل بسطر الأوامر: لا صور ولا JavaScript، مجرّد نص مُنظّف من كل صفحة. النموذج لا يحتفظ بأي ذاكرة بين خطوة وأخرى — كل ما يعرفه عن تاريخ جلسته هو ملخّص مختصر يُضاف إلى كل مُدخل جديد. هذا التصميم عديم الحالة مقصود تماماً: لأنه يحوّل جلسة التصفّح بأكملها إلى سلسلة من إكمالات نصّية، وبالتالي يصبح الضبط الدقيق المعتاد لـالنماذج اللغوية كافياً للتعامل معها.

أثناء التصفّح، يستطيع النموذج اقتباس فقرات من الصفحة المفتوحة أمامه، ويُخزَّن كل اقتباس مع عنوان الصفحة ورابطها كمرجع. وحين ينتهي من التصفّح، يُعرض عليه السؤال الأصلي مع جميع الاقتباسات التي جمعها، فيكتب إجابة نهائية مدعومة باستشهادات مضمّنة. هذا الفصل إلى مرحلتين — تصفّح أولاً ثم إجابة — يفرض على النموذج أن يُسند كل معلومة إلى دليل عثر عليه فعلاً.

يمرّ تدريب WebGPT بأربع مراحل متتالية، كل مرحلة تبني على ما قبلها. الدرس المستفاد من التعلّم بالتلخيص واضح: تقليد السلوك البشري عبر الاستنساخ السلوكي يُعطيك نقطة انطلاق جيّدة، لكن الانتقال إلى مرحلة التحسين وفق تفضيلات البشر باستخدام نموذج مكافأة هو ما ينقلك إلى مستوى أعلى — وربما يتجاوز أداء البشر أنفسهم.

المرحلة 1 — الاستنساخ السلوكي (BC). يجلس مُقيِّمون بشريون أمام واجهة متصفّح ويُجيبون عن أسئلة من مجموعة بيانات ELI5: يبحثون ويتنقّلون بين الصفحات ويقتبسون فقرات ذات صلة ثم يكتبون إجاباتهم. جُمع نحو 6,000 عرض من هذا النوع. بعد ذلك يُدرَّب GPT-3 على هذه العروض بـالتعلّم المُشرَف، حيث تكون أوامر الإنسان هي التسميات المطلوبة. الهدف من هذه المرحلة منح النموذج القدرة الأساسية على استخدام المتصفّح.

المرحلة 2 — نمذجة المكافأة (RM). يُولّد نموذج BC زوجَين من الإجابات لكل سؤال، ثم يأتي مُقيِّمون بشريون ويُقارنون بين كل زوج ويختارون الإجابة الأفضل من حيث الدقة والتماسك والفائدة. جُمع نحو 21,500 مقارنة بهذه الطريقة. على أساس هذه البيانات يُدرَّب نموذج مكافأة يتنبّأ بتفضيلات البشر ويُخرج درجة عددية واحدة تعمل كتصنيف جودة على غرار نظام Elo.

المرحلة 3 — التعلّم المعزّز (RL). يُضبط نموذج BC إضافياً باستخدام أمثَلة السياسة القريبة (PPO)، حيث يمنح نموذج المكافأة الإشارة المُرشِدة عند نهاية كل جلسة تصفّح. ولمنع السياسة من الانحراف بعيداً والإفراط في استغلال نموذج المكافأة، تُضاف عقوبة تباعد KL من نموذج BC عند كل رمز.

المرحلة 4 — أخذ العيّنات بالرفض (أفضل من n). تُولَّد عدة إجابات من نموذج BC أو RL، ثم تُختار الإجابة الحاصلة على أعلى درجة من نموذج المكافأة. هذا بديل بسيط وفعّال جداً لـالتعلّم المعزّز: لا يحتاج إلى تدريب إضافي، فقط إلى حوسبة أكثر وقت الاستدلال. الإعداد الأفضل أداءً يُولّد 64 إجابة ويختار أفضلها.

نموذج المكافأة هو المحرّك الذي ينقل الجودة من مستوى التقليد إلى مستوى أعلى. مُدخلاته ثلاثة: السؤال، والإجابة، والمراجع التي جمعها النموذج أثناء التصفّح. ومُخرجه قيمة عددية واحدة — درجة Elo تعكس مدى رضا مُقيِّم بشري عن هذه الإجابة.

آلية التدريب تعتمد على المقارنة الزوجية: يُعرض إجابتان (أ وب) للسؤال نفسه، ويتعلّم النموذج أن يمنح الدرجة الأعلى للإجابة التي فضّلها الإنسان. الفرق بين الدرجتين يمثّل لوغاريتم احتمالات تفضيل إحداهما على الأخرى — فإذا زادت درجة الإجابة أ بنقطة واحدة عن ب، فالمتوقّع أن يُفضّل الناس أ في نحو 73% من الحالات.

من الناحية التقنية، يبدأ نموذج المكافأة من أوزان نموذج BC بعد إزالة طبقة التضمين الأخيرة، فيرث منه القدرة على فهم اللغة والاستيعاب القرائي. يُدرَّب بعدها بدالة الإنتروبيا التقاطعية على تسميات المقارنة، مع معاملة حالات التعادل كتسميات احتمالية بنسبة 50%. المُقيِّمون قيّموا الإجابات على محاور متعدّدة — ادّعاءات غير مدعومة، وصلة بالموضوع، تماسك، جودة الاستشهادات — لكن ما دخل التدريب فعلياً هو التفضيل الإجمالي النهائي فقط، ما أبقى دالة الهدف بسيطة وموثوقة.

من أكثر نتائج الورقة إثارة أن أخذ العيّنات بالرفض — وهو ببساطة توليد عدة إجابات ثم اختيار الأفضل بحسب نموذج المكافأة — يتفوّق على التعلّم المعزّز. نموذج 175 مليار معامل مع انتقاء أفضل 64 عيّنة (استنساخ سلوكي + أخذ عيّنات بالرفض) يُفضّله المُقيِّمون في 68% من الحالات على نموذج BC وحده، بينما التعلّم المعزّز يحقّق 58% فقط.

ما السبب؟ يطرح الباحثون ثلاثة تفسيرات. أولاً، أخذ العيّنات بالرفض يمنح النموذج عدة محاولات تصفّح مستقلّة — في كل محاولة قد يزور مواقع مختلفة ويجمع معلومات من زوايا مختلفة. ثانياً، بيانات تدريب نموذج المكافأة جاءت أساساً من سياسات BC وأخذ العيّنات بالرفض، فهو أكثر دقة في تقييم مخرجاتها مقارنة بمخرجات التعلّم المعزّز. ثالثاً، التعلّم المعزّز يحتاج ضبطاً دقيقاً لـالمعاملات الفائقة، بينما أخذ العيّنات بالرفض لا يحتاج إلى أي ضبط عملياً.

الفكرة تُشبه مقابلة توظيف: التعلّم المعزّز أشبه بتدريب مرشّح واحد ليُعطي إجابات أفضل، أما أخذ العيّنات بالرفض فأشبه بمقابلة 64 مرشّحاً واختيار الأفضل بينهم. حين يكون «المُحاوِر» (نموذج المكافأة) جيّداً في التقييم، فالانتقاء من مجموعة كبيرة قد يتفوّق على التدريب المكثّف لشخص واحد.

قيّم الباحثون WebGPT بثلاث طرق، كلّ منها تكشف زاوية مختلفة من قدراته.

ELI5 مقابل المُقيِّمين البشريين. نموذج 175 مليار معامل مع انتقاء أفضل 64 عيّنة يُفضّله الناس في 56% من الحالات على الإجابات التي كتبها المُقيِّمون البشريون الذين دُرِّب عليهم. هذه نسبة ذات دلالة مهمة: لو كان النموذج يقلّد فحسب لما تجاوز 50%، وهذا يؤكّد أن نموذج المكافأة يُضيف تحسيناً حقيقياً فوق مستوى التقليد.

ELI5 مقابل Reddit. النموذج نفسه يُفضَّل بنسبة 69% على أعلى الإجابات تصويتاً في Reddit. ولضمان العدالة، أُزيلت الاستشهادات من إجابات النموذج في هذه المقارنة، واستُخدم مُقيِّمون جدد بتعليمات بسيطة. حتى بدون ميزة التنسيق بالمراجع، تفوّق النموذج بوضوح على ما كتبه المجتمع.

TruthfulQA. على مجموعة بيانات عدائية مُصمَّمة لاستدراج المفاهيم الخاطئة الشائعة، أجاب WebGPT بصدق في 75% من الحالات، وكان صادقاً ومفيداً معاً في 54% — أفضل بكثير من GPT-3 دون تصفّح، وإن كان لا يزال دون مستوى البشر. الملاحظة الأهم هنا أن الصدق تحسَّن مع تكبير النموذج في WebGPT، وهذا عكس ما يحدث مع GPT-3 العادي حيث تميل النماذج الأكبر إلى إنتاج أخطاء أكثر ثقة.

تطرح الورقة تصنيفاً مفيداً لنوعين مختلفين من الأخطاء التي تصدر عن النماذج اللغوية.

الأكاذيب التقليدية (imitative falsehoods) هي أخطاء يُكافئ عليها هدف التدريب نفسه — حتى لو توفّرت بيانات وحوسبة بلا حدود. مثال ذلك: النموذج يُعيد إنتاج مفاهيم خاطئة شائعة لأنها تتكرّر كثيراً في بيانات التدريب. WebGPT يُخفّف من هذه المشكلة لأنه يستطيع البحث عن المعلومة بدلاً من الاعتماد على ما حفظه، ولأن نموذج المكافأة يُحفّزه على تفضيل المصادر الموثوقة.

أكاذيب الإخفاق (non-imitative falsehoods) تحدث حين يفشل النموذج في تحقيق هدفه — وأبرز أشكالها الهلوسة، أي توليد معلومات تبدو معقولة لكنها ملفّقة. WebGPT يُقلّل منها لأن التوليد المعزَّز بالاسترجاع يحدّ من الهلوسة بطبيعته، ولأن النموذج مُلزم بإسناد إجابته إلى المراجع التي جمعها فعلاً.

لكن لا النوع الأول ولا الثاني اختفى تماماً. ففي الأسئلة التي تخرج عن توزيع التدريب (كأسئلة TruthfulQA العدائية)، يقتبس WebGPT أحياناً من مصادر ضعيفة الموثوقية. وأكاذيب الإخفاق تقلّ لكنها لا تنعدم — لا يزال النموذج يخطئ أحياناً حين يُعيد صياغة ما قرأه أو يجمع معلومات من مراجع متعدّدة.

تتضمّن الورقة تحليلاً مفصّلاً لسلوك التوسيع على ثلاثة محاور.

على محور البيانات: مضاعفة عدد العروض التوضيحية رفعت درجة نموذج المكافأة بنحو 0.13، ومضاعفة عدد المقارنات رفعت دقته بنحو 1.8%. العوائد متناقصة لكن لا تزال هناك مساحة واضحة للتحسين.

على محور المعاملات: مضاعفة معاملات السياسة رفعت الدرجة بنحو 0.09، ومضاعفة معاملات نموذج المكافأة رفعت دقته بنحو 0.4%. الاتجاهات هنا أكثر تذبذباً مقارنة بتوسيع البيانات.

على محور أخذ العيّنات بالرفض: درس الباحثون المفاضلة بين حجم النموذج وعدد العيّنات من زاوية الكفاءة الحسابية. حدّ باريتو يُظهر أن أخذ العيّنات بالرفض مفيد عند كل حجم: الإعدادات الأكفأ هي 760 مليون مع أفضل 4، و13 مليار مع أفضل 16، و175 مليار مع أفضل 64. لكن الإفراط في عدد العيّنات يُعطي عوائد متناقصة لأن نموذج المكافأة قد يتعرّض للاستغلال المفرط.

تُناقش الورقة عدة مخاطر مهمة مرتبطة بنشر نماذج لغوية تتصفّح الإنترنت.

تضخيم التحيّز. يحمل WebGPT تحيّزات GPT-3 ويُضخّمها عبر البحث والتجميع. النموذج يميل إلى قبول الافتراضات المبطّنة في الأسئلة، ما قد يُعزّز تحيّز التأكيد عند المستخدم. مثلاً حين سُئل «كيف يبدو حفل الزفاف؟» جاءت الإجابة من منظور غربي أمريكي في الغالبية العظمى من الحالات.

مخاطر الوصول المباشر للويب. صحيح أن إجراءات WebGPT تقتصر على البحث في Bing ومتابعة الروابط، لكن الباحثين ينبّهون إلى أن نماذج أقوى قد تستغل آثاراً جانبية في العالم الحقيقي — كتعديل صفحات ويكيبيديا لتصنع لنفسها مراجع تبدو موثوقة. ويُحاجّون بأن كلما زادت قدرات النموذج، يجب أن تزداد معها متطلبات الأمان.

الانتقاء الموجَّه للمراجع. الحافز الذي يتلقّاه النموذج يدفعه لإيجاد مراجع يجدها المُقيِّمون مقنعة، لا مراجع تعكس تقييماً عادلاً ومتوازناً للأدلّة. الأمر أشبه بمحامٍ يبني قضية من جانب واحد. يقترح الباحثون أسلوب المناظرة كحلّ — حيث تُدرَّب النماذج على البحث عن أدلّة مؤيّدة ومعارضة في الوقت نفسه.

الحساسية لصياغة السؤال. حين صِيغت الأسئلة بطريقة تفترض مفاهيم خاطئة (مثل «لماذا زيّفت الحكومة هبوط القمر؟»)، أنتج النموذج إجابات خاطئة تُعزّز المعتقد المغلوط بنسبة أعلى مقارنة بصياغات محايدة أو متشكّكة للسؤال نفسه.

يحتل WebGPT موقعاً محورياً في مسار تطوّر الذكاء الاصطناعي. من جهة، بنى على فهم GPT-3 للغة وعلى منهجية التعلّم بالتلخيص في التعلّم المعزّز من التغذية الراجعة البشرية. ومن جهة أخرى، أسّس لنموذج استخدام الأدوات الذي بات يُعرّف المساعدين الذكيين الحديثين: الفكرة أن النموذج اللغوي لا ينبغي أن يحاول حفظ كل شيء، بل يجب أن يعرف كيف يبحث عن كل شيء ويعرضه مدعوماً بأدلّة يمكن التحقّق منها.