RLAIF: توسيع التعلّم المعزَّز بتغذية راجعة آلية بدلاً من البشر

منهجية RLHF المعتادة تمرّ بثلاث مراحل. في الأولى يُجرى ضبط دقيق بالإشراف (SFT) على بيانات عالية الجودة. في الثانية يقرأ مُقيّمون بشريون أزواجاً من ردود النموذج ويختارون الأفضل، ثم يُدرَّب نموذج مكافأة على تفضيلاتهم. في الثالثة تُحسَّن السياسة عبر التعلّم المعزَّز مع استخدام نموذج المكافأة بديلاً عن الحكم البشري، وتُضاف عقوبة تباعد KL كي لا تبتعد السياسة كثيراً عن النموذج الأصلي.

المرحلة الثانية هي عنق الزجاجة. جمع التفضيلات البشرية مكلف — نحو 0.67 دولار لكل مثال في مهمة التلخيص. المُقيّمون يحتاجون تدريباً، ويختلفون فيما بينهم (نسبة الاتفاق بينهم لا تتجاوز 73–77%)، والعملية تستغرق أسابيع. ومع كل مهمة أو مجال جديد تبدأ من الصفر. وكلّما تحسّنت النماذج احتاجت تغذية راجعة أدقّ، أي مُقيّمين أمهر — وأغلى.

الفكرة بسيطة: بدلاً من أن تسأل إنساناً «أيّ ردّ أفضل؟»، اسأل نموذجاً لغوياً كبيراً. يُعرَض على النموذج سياق (مثلاً منشور من Reddit) مع ردّين مُرشَّحين (مثلاً ملخّصان)، ويُطلَب منه أن يختار الأفضل. يتكوّن الـ prompt من أربعة أجزاء: مقدّمة تصف المهمة، أمثلة توضيحية اختيارية، العيّنة المطلوب تقييمها، وخاتمة تستخلص التفضيل.

لكن بدلاً من أخذ حكم حاسم «الأول أو الثاني»، يحسب النظام تسمية ناعمة عبر تطبيق دالة Softmax على الاحتمالات اللوغاريتمية لتوليد الرمزين "1" و"2". فمثلاً، توزيع [0.6, 0.4] يعني أن النموذج يميل قليلاً نحو الردّ الأول. هذا التوزيع الناعم يحمل معلومات أغنى بكثير من الاختيار الحادّ.

هناك تقنيتان رئيسيتان تُحسّنان جودة الأحكام الآلية:

معالجة الانحياز الموضعي. النماذج اللغوية قد تميل لتفضيل أيّ ردّ يظهر أولاً (أو ثانياً) بصرف النظر عن جودته. للتعامل مع ذلك، يُقيَّم كل زوج مرّتين مع عكس ترتيب الردّين، ثم تُؤخَذ المتوسطات. النماذج الأصغر تُعاني من هذا الانحياز أكثر بوضوح — فـ PaLM 2 XS يُفضّل الموضع نفسه 56% من الوقت حتى بعد العكس، مقابل 18% فقط لـ PaLM 2 L.

سلسلة التفكير قبل الحكم. بدلاً من أن يُصدر النموذج حكمه فوراً، يُطلَب منه أولاً أن يشرح تفكيره ثم يختار. هذا الأسلوب ذو الخطوتين — فكِّر ثم قيِّم — يرفع التوافق مع التفضيلات البشرية بنسبة تصل إلى +1.9%.

بمجرّد جمع التفضيلات الآلية، تعود المنهجية إلى المسار المعتاد في RLHF. يُدرَّب نموذج المكافأة على التسميات الناعمة باستخدام دالة الإنتروبيا التقاطعية — وهي نفس دالة الخسارة المعروفة في RLHF، لكن الأهداف هنا توزيعات ناعمة بدلاً من أحكام حادّة.

في مرحلة التعلّم المعزَّز، تُستخدم خوارزمية REINFORCE مع دالة قيمة أساسية، مُهيَّأة من نقطة حفظ SFT. هدف التحسين يوازن بين تعظيم المكافأة والحفاظ على قرب السياسة من نموذج SFT عبر حدّ تباعد KL:

حتى في RLAIF الكلاسيكي، لا بدّ من تدريب نموذج مكافأة منفصل — وهذا يستغرق وقتاً ويُدخل مشكلة «التقادم». مع تحسّن السياسة أثناء التعلّم المعزَّز، تبتعد مخرجاتها عن البيانات التي تدرّب عليها نموذج المكافأة، فتصبح درجاته غير موثوقة. يمكن إعادة تدريبه دورياً، لكن ذلك مكلف.

d-RLAIF يطرح بديلاً أنيقاً: تخلَّص من نموذج المكافأة بالكامل، واستخدم النموذج اللغوي الكبير نفسه مُقيّماً حيّاً أثناء التدريب. لكل ردّ جديد يُولّده النموذج، يُطلَب من المُقيّم اللغوي تقييم جودته على مقياس من 1 إلى 10. تُحسب احتمالية كل درجة، ويُستخرج المتوسط المرجّح كدرجة خام، ثم تُطبَّع إلى المجال [−1, 1] وتُستخدم مباشرةً إشارةَ مكافأة.

بهذا تختفي مشكلة التقادم ويُوفَّر وقت تدريب نموذج المكافأة معاً. في التجارب، حقّقت d-RLAIF نتائج مكافئة أو أفضل من RLAIF الكلاسيكي في كل مهمة. في التلخيص مثلاً، بلغت نسبة الفوز على SFT نحو 74%، مقابل 68% لـ RLAIF الكلاسيكي بالحجم المماثل.

قيّمت الورقة الأداء على ثلاث مهام — التلخيص (Reddit TL;DR)، وتوليد حوار مفيد، وتوليد حوار آمن — واعتمدت التقييم البشري معياراً ذهبياً.

في التلخيص، حقّقت RLAIF نسبة فوز 71% على SFT بينما حقّق RLHF نسبة 73% — وهو فرق غير دالّ إحصائياً. وحين قارن المقيّمون البشريون الطريقتين مباشرةً، فضّلوهما بمعدّلات متساوية (50% لكلّ منهما).

في الحوار المفيد تكرّر النمط نفسه: RLAIF عند 63% وRLHF عند 64% مقابل SFT، دون فرق ذي دلالة إحصائية.

في الحوار الآمن كانت المفاجأة: RLAIF تفوّقت فعلياً على RLHF، بنسبة أمان 88% مقابل 76% لـ RLHF و64% لـ SFT.

السؤال الطبيعي هنا: هل يهمّ حجم النموذج الذي يُقيّم التفضيلات؟ الجواب نعم، وبعلاقة واضحة: كلّما كبر النموذج المُقيّم، زاد توافق أحكامه مع أحكام البشر. PaLM 2 L يبلغ توافقه 78% مع الأحكام البشرية، وينخفض PaLM 2 S إلى 73.8%، ويهبط PaLM 2 XS إلى 62.7%.

لكن المفاجأة الحقيقية: حتى حين يكون المُقيّم الآلي بنفس حجم النموذج المُدرَّب (PaLM 2 XS يُقيّم لسياسة PaLM 2 XS)، تظلّ RLAIF تحقّق نسبة فوز 68% على SFT — أقل بقليل فقط من 71% التي حقّقها مُقيّم أكبر بكثير. هذه خطوة واضحة نحو التحسين الذاتي: النموذج يُحسِّن نفسه مستخدماً أحكامه هو.

d-RLAIF يذهب أبعد من ذلك. في مهمة الحوار المفيد، النموذج الذي يُقدّم المكافأة والنموذج الذي يتدرّب هما نقطة الحفظ ذاتها تماماً — ورغم ذلك يتحسّن الأداء. هذا مثال صريح على تحسين النموذج لنفسه بنفسه.

درست الورقة بشكل منهجي ثلاث استراتيجيات لتوجيه المُقيّم الآلي:

سلسلة التفكير (CoT) تُحسّن التوافق في كل الحالات. حين يُطلَب من النموذج أن يشرح تفكيره أولاً ثم يُصدر حكمه، يرتفع التوافق مع البشر بنسبة +1.3% إلى +1.9% بحسب المهمة. وهذا منطقي — التفكير قبل الإجابة يُعطي نتائج أفضل، تماماً كما نراه في مهام الاستدلال الأخرى.

المقدّمات التفصيلية في الـ prompt تُفيد في المهام المعقّدة (التلخيص يكسب +1.3%)، لكن أثرها متفاوت في المهام الأبسط كتقييم الإفادة أو الأمان، لأن النموذج يفهمها بديهياً دون مقدّمات مطوّلة.

الأمثلة القليلة — وهنا المفاجأة — تُضعف الأداء في التلخيص والإفادة، بل ينخفض التوافق بشكل رتيب كلّما زاد عدد الأمثلة. مهمة الأمان وحدها استفادت من التعلّم بالسياق (+2.7% بمثالين). التفسير أن النموذج يفهم هذه المهام جيداً بما يكفي، فتُصبح الأمثلة مُشتّتة لا مُساعِدة.

إلى جانب تكافؤ الجودة، تُخفّض RLAIF التكلفة بشكل جذري. تُقدّر الورقة أن التقييم الآلي يكلّف نحو 0.06 دولار لكل مثال (بأسعار GPT-4 حينها)، مقابل 0.67 دولار للتقييم البشري عبر خدمة Google Cloud. أي أنها أرخص بأكثر من عشر مرات — والمُقيّم الآلي يعمل على مدار الساعة دون تعب أو حاجة إلى تدريب مسبق أو ضبط اتساق بين المُقيّمين.

ولأن المُقيّم الآلي في RLAIF الكلاسيكي يُستخدم مرة واحدة فقط لتوليد مجموعة بيانات التفضيلات (ولا يُستدعى أثناء التعلّم المعزَّز)، فإن استخدام نموذج أكبر وأقوى ليس مكلفاً كما قد يبدو — لأن التكلفة تتوزّع على جميع الأمثلة التي يُقيّمها.

حين فحص الباحثون مخرجات التلخيص يدوياً، ظهرت فروق لافتة بين الطريقتين. في بعض الحالات، وقع RLHF في هلوسة تفاصيل تبدو مقنعة لكنها غير موجودة في النصّ الأصلي — كأن يذكر أن المستخدم «عمره 20 سنة» رغم عدم ذكر أي عمر. ملخّصات RLAIF كانت أقل عرضة لهذا النوع من الأخطاء.

في المقابل، أنتجت RLAIF أحياناً ملخّصات أقل سلاسة — جمل طويلة متّصلة أو عبارات مكرّرة لا تعكس النصّ المصدر. لكن حين قيّم البشر الطريقتين بشكل أعمى من حيث الدقة والتغطية والتماسك، لم تظهر فروق ذات دلالة إحصائية.

الإسهام الأعمق لـ RLAIF ليس أسلوباً بعينه — بل إثبات مبدأ. أثبتت أن الفارق بين حكم الإنسان وحكم النموذج اللغوي، حين يتعلّق الأمر بتدريب نماذج المكافأة، أضيق بكثير ممّا كان يُظنّ. فتحت بذلك الباب لجيل جديد من أساليب المحاذاة التي تُقلّل الاعتماد على التقييم البشري أو تُلغيه — من التحسين المباشر للتفضيلات إلى اللعب الذاتي إلى التحسين التكراري في Constitutional AI. الخلاصة العملية واضحة: المحاذاة على نطاق واسع لم تعد رهينة سرعة المُقيّمين البشريين.