المواءمة2020متوسط13 دقيقة قراءة

تعلُّم التلخيص من التغذية الراجعة البشرية

Learning to Summarize from Human Feedback

Stiennon, N. · Ouyang, L. · Wu, J. · Ziegler, D. M. · Lowe, R. · Voss, C. · Radford, A. · Amodei, D. · Christiano, P. — NeurIPS

المشكلة

حتى عام 2020، كان الأسلوب السائد هو ضبط النماذج اللغوية بتعظيم احتمالية نصوص كتبها بشر، ثم تقييمها بمقاييس آلية مثل ROUGE. المشكلة أن تعظيم الاحتمالية يُساوي بين كل الأخطاء — فاختلاق معلومة يُعاقَب عليه بنفس القدر الذي يُعاقَب فيه استبدال كلمة بمرادفها. وROUGE من جهته يرتبط ارتباطاً ضعيفاً بما يراه البشر جودةً حقيقية. الخلاصة أن هدف التدريب ومقياس التقييم كلاهما تقريب خشن لما نريده فعلاً: ملخّصات يقرأها إنسان ويقول «هذا ملخّص ممتاز».

الإسهام

منظومة من ثلاث مراحل تستغني عن المقاييس التقريبية وتعتمد حكم البشر مباشرة. أولاً: جمع أكثر من 64,000 مقارنة بشرية بين أزواج ملخّصات. ثانياً: تدريب نموذج مكافأة يتعلّم التنبّؤ بالملخّص الذي سيختاره البشر. ثالثاً: استخدام درجة إشارةً لتحسين بأسلوب GPT عبر خوارزمية PPO، مع عقوبة تمنعها من الابتعاد عن النموذج المُشرَف عليه. النتيجة: نموذج بـ1.3 مليار معامل يُنتج ملخّصات يفضّلها البشر على ملخّصات نموذج مُشرَف أكبر منه عشر مرات، ونموذج بـ6.7 مليار تتفوّق ملخّصاته على ما كتبه البشر أنفسهم. والنماذج تعمل أيضاً على تلخيص أخبار CNN/DM بدون أي تدريب إضافي عليها.

الأثر

هذه الورقة هي التي أرست وصفة RLHF التي نعرفها اليوم — ضبط مُشرَف ثم نموذج مكافأة ثم PPO — وأصبحت هذه الوصفة العمود الفقري لـInstructGPT وChatGPT وعملياً كل نموذج لغوي مُتوائم جاء بعدها. أثبتت أن تفضيلات البشر يمكن تحويلها إلى مكافأة يتعلّمها النموذج ويستخدمها لتوجيه التوليد إلى مستوى يتجاوز ما يحقّقه التعلّم المُشرَف أو المقاييس الآلية. والأهمّ أن المنهجية لم تقف عند التلخيص، بل امتدّت إلى الحوار واتباع التعليمات وتوليد الشفرات وتوائم السلامة — كلها تبنّت الوصفة ذاتها.

تخيّل مسابقة طبخ لا يوجد فيها كتاب وصفات يُحكَم بموجبه. بدلاً من ذلك، يتذوّق الحضور طبقين جنباً إلى جنب ويقولون أيّهما أطيب. بعد آلاف التذوّقات، يتشكّل لدى ناقد طعام فهمٌ دقيق لما يقدّره الحضور — التوازن، الطزاجة، عمق النكهة.

يأتي الآن طاهٍ جديد. بدلاً من اتباع وصفة محدّدة () أو محاولة تعظيم رقم على عدّاد سعرات (مقياس ROUGE)، يطبخ طبقاً تلو الآخر ويسأل الناقد: كم تعطيني؟ ذائقة الناقد هي . مع كل جولة يتحسّن الطاهي، حتى يصل إلى مرحلة يفضّل فيها الحضور أطباقه على الأطباق الحائزة جوائز التي أعدّها طهاة بشريون.

هذه الورقة حوّلت إلى ذلك الطاهي، وحوّلت تفضيلات البشر إلى ذلك الناقد.

مشكلة عدم التوائم: دالة الخسارة ≠ الجودة

قبل هذه الورقة، كانت الطريقة المعتادة لبناء نموذج تلخيص بسيطة: تأخذ نموذجاً لغوياً كبيراً، تُجري له على أزواج من (مقالة، ملخّص بشري)، ثم تقيس الأداء بمقياس ROUGE الذي يَعُدّ الكلمات المشتركة بين الملخّص المُولَّد والملخّص المرجعي.

لكن في هذا الأسلوب خلل بنيوي عميق. يتعامل مع كل تنبّؤ بالتساوي: لو أخطأ النموذج وقال «الاثنين» بدل «الثلاثاء» (خطأ واقعي)، يُعاقَب بنفس المقدار كما لو اختار «كبير» بدل «ضخم» (مجرّد اختلاف أسلوبي). ليس هناك ما يُعلّم النموذج أن بعض الأخطاء كارثية وبعضها لا يُذكر.

ومقياس ROUGE يزيد الأمر سوءاً. لأنه يقيس التطابق السطحي فقط، قد يحصل ملخّص على درجة عالية في ROUGE رغم أنه أغفل الفكرة الرئيسية بالكامل، وقد يحصل ملخّص آخر على درجة متدنّية رغم أنه التقط الجوهر بدقّة لكن بكلمات مختلفة. والمفارقة أن المؤلفين وجدوا أن توافق ROUGE مع أحكام البشر ينهار إلى مستوى الصدفة (~50%) عند مقارنة أفضل نماذجهم — أي تحديداً في اللحظة التي يكون فيها التقييم الدقيق أهمّ ما يكون.

الأمر أشبه بتصحيح مقالات عبر عدّ الكلمات المطابقة لنموذج الإجابة. طالب ينسخ جملاً عشوائية من النصّ الأصلي قد يحصل على درجة أعلى من طالب فهم الموضوع وكتب ملخّصاً ممتازاً بأسلوبه الخاص.

افتح في المختبر
قارِن بين ملخّص من نموذج مُشرَف (يعظّم الاحتمالية) وملخّص من نموذج يتعلّم من التغذية الراجعة البشرية (يعظّم التفضيلات). لاحظ كيف يلتقط ملخّص RLHF النقاط الجوهرية بأمانة أعلى.
تستيقظ التجربة عند وصولك…

منظومة RLHF ذات المراحل الثلاث

الفكرة المحورية في الورقة هي منظومة تستغني عن المقاييس التقريبية وتستبدلها بحكم البشر مباشرة، مُرتَّبة في ثلاث خطوات تتسلسل بشكل طبيعي. كل خطوة تُغذّي التي بعدها، فتبني جسراً يبدأ من تفضيلات بشرية خام وينتهي بـسياسة تُولّد نصوصاً عالية الجودة.

تصوّر الأمر كأنك تبني مساعد كتابة يُحسّن نفسه بنفسه على ثلاث مراحل: أولاً، راقب خبيراً يقارن بين مسوّدات وتعلَّم كيف تبدو الكتابة الجيّدة. ثانياً، ابنِ كاشف جودة داخلياً يعكس ذوق ذلك الخبير. ثالثاً، تدرّب على الكتابة مستخدماً هذا الكاشف مدرّباً يوجّهك في كل محاولة.

افتح في المختبر
المراحل الثلاث لمنظومة RLHF — انقر على كل مرحلة لاستكشاف دورها.
تستيقظ التجربة عند وصولك…

الخطوة 1: جمع المقارنات البشرية

أساس المنظومة بأكملها هو من تفضيلات البشر. الفكرة بسيطة: لكل منشور من مجموعة TL;DR على Reddit، ولّد المؤلفون ملخّصات من مصادر مختلفة — السياسة الحالية، والنموذج المُشرَف، والملخّص البشري المرجعي، ونماذج أخرى. ثم عرضوا كل على مُقيِّمين بشريين وطلبوا منهم ببساطة: اختر الأفضل.

لماذا المقارنة الثنائية تحديداً؟ لأنها أوضح وأقلّ ضجيجاً من التقييم الرقمي. حين تسأل شخصاً «كم تعطي هذا الملخّص من عشرة؟»، فـ«7 من 10» تعني أشياء مختلفة لأشخاص مختلفين. لكن حين تسأل «أيّ الملخّصَين يلتقط المنشور بشكل أفضل؟»، الجواب أبسط والإشارة أكثر اتساقاً.

استثمر المؤلفون بكثافة في ضمان جودة المُقيِّمين: تعليمات تفصيلية عند البداية، وقناة تواصل مفتوحة للأسئلة، ومتابعة مستمرّة لمعدّلات الاتفاق. والنتيجة أن المُقيِّمين وافقوا الباحثين بنسبة 77% من الحالات — وهي نسبة تكاد تطابق الـ73% التي اتفق فيها الباحثون فيما بينهم.

في النهاية حصلوا على أكثر من 64,000 مقارنة — مجموعة كبيرة بشكل استثنائي ومبنيّة بعناية، نشروها للاستخدام العام.

الخطوة 2: تدريب نموذج المكافأة

وظيفة نموذج المكافأة هي تحويل المقارنات البشرية إلى درجة رقمية. تعطيه منشوراً وملخّصاً، فيُخرج لك رقماً يعبّر عن جودة الملخّص — كلّما ارتفع الرقم دلّ ذلك على أن البشر على الأرجح سيفضّلونه.

من الناحية المعمارية، ينطلق نموذج المكافأة كنسخة طبق الأصل من نموذج التلخيص المُشرَف ( من نوع بأسلوب GPT)، مع تعديل واحد: نزيل رأس نمذجة اللغة الذي يُخرج احتمالات ونضع بدلاً منه رأساً خطّياً مُهيَّأ عشوائياً يُخرج قيمة عددية واحدة فقط. وهنا تكمن الحيلة — نموذج المكافأة يرث كل الفهم اللغوي من والضبط الدقيق، ولا يبقى أمامه سوى تعلّم مهمّة أبسط نسبياً: أيّ ملخّصَين أفضل؟

تصوّر الأمر كأنك تأخذ كاتباً متمرّساً وتطلب منه أن يصبح حَكَماً في مسابقة. هو يفهم اللغة بعمق أصلاً — كل ما يحتاج تعلّمه هو ما يجعل ملخّصاً أفضل من آخر.

LRM(θ)=E(x,yw,yl)D ⁣[logσ ⁣(rθ(x,yw)rθ(x,yl))]\mathcal{L}_{\text{RM}}(\theta) = -\,\mathbb{E}_{(x,\,y_w,\,y_l)\,\sim\,\mathcal{D}}\!\Big[\log\,\sigma\!\big(r_\theta(x,\,y_w) - r_\theta(x,\,y_l)\big)\Big]
دالة خسارة نموذج المكافأة (برادلي-تيري)لمنشور x، يحسب النموذج درجة مكافأة للملخّص المُفضَّل y_w وأخرى للملخّص المرفوض y_l. دالة الخسارة تدفع درجة المفضَّل لتكون أعلى من المرفوض. σ هي الدالة السينية — نفسها المستخدمة في الانحدار اللوجستي — تحوّل الفارق بين الدرجتين إلى احتمال.
افتح في المختبر
شاهد كيف يمنح نموذج المكافأة درجاتٍ لملخّصات مختلفة. عدّل أبعاد الجودة لتفهم ما الذي تعلّمه النموذج.
تستيقظ التجربة عند وصولك…

الخطوة 3: تحسين السياسة بخوارزمية PPO

بعد أن أصبح لدينا نموذج مكافأة مُدرَّب، تأتي الخطوة الأخيرة: استخدامه إشارة مكافأة في . السياسة هنا هي نموذج GPT مُهيَّأ من النموذج المُشرَف، وهي تولّد الملخّصات رمزاً بعد رمز. حين ينتهي الملخّص، يُقيّمه نموذج المكافأة، ثم تُحدّث خوارزمية السياسة بحيث ترفع احتمال الإجراءات التي أدّت إلى مكافآت أعلى.

لكن الأمثَلة المفتوحة للمكافأة أمر خطير. بدون ضوابط، ستكتشف السياسة بسرعة ثغرات في نموذج المكافأة وتستغلّها — فتُنتج نصوصاً تحصد درجات عالية لكنها بلا معنى حقيقي للقارئ البشري. هذا ما نسمّيه ، وهو من التحدّيات الجوهرية في التعلّم المعزَّز.

خطّ الدفاع الرئيسي هو عقوبة تباعد KL التي تربط السياسة بالنموذج المُشرَف الأصلي كأنها حبل أمان. كلّما ابتعدت مخرجات السياسة عمّا كان النموذج المُشرَف سيولّده، كبرت هذه العقوبة، فتعمل كقيد يمنع السياسة من التوغّل في مناطق لم يُدرَّب نموذج المكافأة على تقييمها بشكل موثوق.

R(x,y)=rθ(x,y)    βlog ⁣πϕRL(yx)πSFT(yx)R(x, y) = r_\theta(x, y) \;-\; \beta \,\log\!\frac{\pi_\phi^{\text{RL}}(y \mid x)}{\pi^{\text{SFT}}(y \mid x)}
المكافأة الكاملة مع عقوبة KLالمكافأة الإجمالية تجمع بين درجة نموذج المكافأة r_θ وعقوبة KL. المعامل β يتحكّم في شدّة القيد: β كبير يُبقي سياسة التعلّم المعزَّز π^RL قريبة من السياسة المُشرَفة π^SFT، وβ صغير يعطيها حرّية استكشاف أوسع لكنه يفتح الباب لاختراق المكافأة.
افتح في المختبر
استكشف التوتّر بين تعظيم المكافأة وعقوبة KL. كلّما زاد تباعد KL، ابتعدت السياسة عن السلوك المُشرَف وانزلقت نحو الإفراط في الأمثَلة.
تستيقظ التجربة عند وصولك…

النتائج: التغذية الراجعة البشرية تتفوّق على الحجم

النتائج كانت لافتة. نموذج بحجم 1.3 مليار معامل أنتج ملخّصات فضّلها البشر على ملخّصات نموذج مُشرَف أكبر منه عشر مرات (6.7 مليار). والأبرز من ذلك أن نموذج التغذية الراجعة بحجم 6.7 مليار أنتج ملخّصات فضّلها البشر على الملخّصات التي كتبها بشر حقيقيون في مجموعة البيانات الأصلية.

في تحليل مُفصَّل للجودة عبر أربعة محاور — التغطية، والدقة، والتماسك، والجودة الإجمالية — تفوّقت نماذج التغذية الراجعة على النماذج المُشرَفة في كل محور، وكان أكبر فارق في التغطية. نموذج PPO بحجم 6.7 مليار حصل على الدرجة الكاملة 7/7 في 45% من الحالات، مقارنة بـ20% للنموذج المُشرَف و23% للملخّصات البشرية المرجعية.

ولعلّ النتيجة الأكثر إبهاراً هي في : هذه النماذج التي تدرّبت فقط على منشورات Reddit استطاعت إنتاج ملخّصات عالية الجودة لمقالات أخبار CNN/DM بدون أي ضبط خاص بالأخبار. نموذج التغذية الراجعة بحجم 6.7 مليار كاد يصل إلى جودة نموذج مُضبَط خصيصاً على بيانات CNN/DM — رغم أنه لم يرَ مقالة إخبارية واحدة أثناء تدريبه.

افتح في المختبر
نسبة تفضيل المُقيِّمين البشريين لملخّصات كل نموذج مقارنة بالملخّصات المرجعية.
تستيقظ التجربة عند وصولك…

حدود اختراق المكافأة

من أهمّ التحليلات في الورقة: ماذا يحدث حين تُفرط في أمثَلة نموذج المكافأة؟ جرّب المؤلفون مجموعة من السياسات بدرجات أمثَلة متفاوتة عبر تعديل معامل عقوبة KL وهو β.

في البداية تسير الأمور كما نتوقّع: مع أمثَلة خفيفة تتحسّن الجودة فعلاً، لأن نموذج المكافأة ينجح في توجيه السياسة نحو ملخّصات أفضل. لكن مع اشتداد الأمثَلة يحدث شيء غير متوقّع: تفضيلات البشر الحقيقية تصل إلى سقف ثم تبدأ بالتراجع، بينما درجة نموذج المكافأة تستمرّ في الصعود. ما حدث هو أن السياسة اكتشفت ثغرات في النموذج وبدأت تستغلّها لتحصد درجات عالية دون تقديم جودة حقيقية.

هذا هو اختراق المكافأة — ويُعرف أيضاً بقانون غودهارت: حين يتحوّل المقياس إلى هدف، يفقد قيمته كمقياس. عقوبة تباعد KL هي خطّ الدفاع الرئيسي لأنها تحدّ من مدى ابتعاد السياسة عن الذي دُرِّب نموذج المكافأة على تقييمه.

وأظهر المؤلفون أن المشكلة ذاتها تظهر حين تُجري أمثَلة لـROUGE مباشرة، لكن بشكل أسوأ: الجودة تبلغ ذروتها أبكر وعند مستوى أدنى مقارنة بنموذج المكافأة المُتعلَّم. وهذا يعني أن نماذج المكافأة المُتعلَّمة، رغم أنها ليست مثالية، تلتقط بُعداً أوسع ممّا يهمّ البشر فعلاً مقارنة بمقاييس صُمِّمت يدوياً.

افتح في المختبر
اسحب شريط الأمثَلة لترى كيف تتحسّن جودة الملخّصات في البداية ثم تتدهور مع الإفراط في أمثَلة نموذج المكافأة.
تستيقظ التجربة عند وصولك…

لماذا تتفوّق المكافأة المُتعلَّمة على ROUGE

الورقة تقدّم دليلاً واضحاً على أن نموذج المكافأة المُتعلَّم يرى أبعاداً من الجودة لا يستطيع ROUGE رؤيتها أصلاً. حين جرّب المؤلفون أمثَلة ROUGE مباشرة عبر (اختيار أفضل N ملخّص)، بلغت الجودة ذروتها أبكر بكثير وعند مستوى أدنى ممّا حقّقته أمثَلة نموذج المكافأة.

السبب بنيوي وليس مجرّد مسألة ضبط. ROUGE يَعُدّ تداخل n-gram — يقيس تشابه الكلمات على السطح، لا الأمانة في نقل المعنى. ملخّص ينسخ جملاً عشوائية من المصدر قد يحصل على درجة ROUGE مرتفعة. وملخّص يلتقط الجوهر بدقّة لكن بكلمات مختلفة كلّياً يحصل على درجة منخفضة. نموذج المكافأة المُتعلَّم بالمقابل تدرّب على أحكام بشرية حقيقية، فيستطيع مكافأة الدقة الدلالية والتغطية الملائمة والكتابة المتماسكة — كلها أشياء لا يعرف ROUGE شيئاً عنها.

هذه النتيجة تحمل درساً أعمق: حين يكون مقياسك بديلاً تقريبياً عمّا تريده فعلاً، كلّما أمثَلته بقوّة أكبر ابتعدت أكثر عن هدفك الحقيقي. تعلّم المقياس نفسه من أصعب وأكلف، لكنه الطريق نحو تحسينات حقيقية.

قرارات التصميم الأساسية

عدّة قرارات تقنية في هذه الورقة تحوّلت لاحقاً إلى ممارسات معيارية في كل أنظمة RLHF التي جاءت بعدها.

النموذج المُضبَط بإشراف () يقوم بثلاثة أدوار في آن واحد: يُهيّئ نموذج المكافأة، ويُهيّئ سياسة التعلّم المعزَّز، ويُهيّئ دالة القيمة. انطلاق الثلاثة من نقطة حفظ واحدة يضمن أنهم يتشاركون الفهم اللغوي نفسه، وهذا يُثبّت عملية التدريب بشكل ملحوظ.

في التقييمات النهائية استُخدم التوليد عند درجة حرارة صفر (T=0). وجد المؤلفون أن يتفوّق باستمرار على الحرارات الأعلى و. الدلالة هنا أنه حين يُشكِّل RLHF توزيع النموذج بشكل جيّد، لا تعود هناك حاجة للتنوّع العشوائي لتحقيق جودة عالية.

اختيرت مجموعة TL;DR بدل CNN/DM لسبب محدّد: الأساليب الاستخراجية البسيطة تؤدّي جيّداً على CNN/DM (نموذج lead-3 الذي يأخذ ببساطة أول ثلاث جمل فضّله المُقيِّمون على الملخّصات المرجعية لـCNN/DM). TL;DR بطبيعته يتطلّب تجريدياً حقيقياً لا مجرّد استخلاص جمل، ممّا يجعله ساحة اختبار أصعب وأكثر دلالة.

قُيّد طول المخرجات بين 24 و48 رمزاً لجميع الملخّصات، وذلك لعزل أثر الجودة عن أثر الطول في أحكام المُقيِّمين. وحتى بعد ضبط الطول، حافظت نماذج التغذية الراجعة على تفوّق واضح في الجودة.

شفرة زائفة: خطوة تدريب PPO في RLHFpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

# شفرة زائفة لخطوة تدريب PPO واحدة
def rlhf_training_step(post, policy, reward_model, sft_model, beta):
    # 1. توليد ملخّص من السياسة الحالية
    summary = policy.generate(post, max_tokens=48)

    # 2. تقييم بنموذج المكافأة
    rm_score = reward_model(post, summary)

    # 3. حساب عقوبة KL مقابل النموذج المُشرَف
    log_ratio = policy.log_prob(summary, post) - sft_model.log_prob(summary, post)
    kl_penalty = beta * log_ratio

    # 4. المكافأة الكاملة = درجة نموذج المكافأة ناقص عقوبة KL
    reward = rm_score - kl_penalty

    # 5. تحديث السياسة باستخدام PPO
    policy.ppo_update(reward, summary, post)

الإرث: الوصفة التي وائمت الذكاء الاصطناعي

  1. 2017

    التعلّم المعزَّز العميق من التفضيلات البشرية

    أثبت كريستيانو وآخرون جدوى RLHF في بيئات Atari وMuJoCo — تدريب وكلاء من 900 مقارنة بشرية ثنائية بدلاً من دوالّ مكافأة مصنوعة يدوياً.

  2. 2019

    ضبط النماذج اللغوية من التفضيلات البشرية

    طبّق زيغلر وآخرون RLHF على النماذج اللغوية لأول مرة، بما فيه التلخيص. لكن التدريب كان فورياً مع اتفاق أقلّ بين المُقيِّمين.

  3. 2020

    تعلّم التلخيص (هذه الورقة)

    وسّعت RLHF إلى 6.7 مليار معامل مع جمع دُفعي للتفضيلات وجودة مُقيِّمين عالية وفصل بين شبكتي السياسة والقيمة. أول نموذج يتفوّق على الملخّصات البشرية المرجعية.

  4. 2021

    WebGPT

    طبّقت وصفة RLHF على الإجابة عن الأسئلة مع تصفّح الويب. تعلّم النموذج البحث والاستشهاد بالمصادر وإنتاج إجابات واقعية يفضّلها البشر.

  5. 2022

    InstructGPT

    طبّقت الوصفة ذاتها بمراحلها الثلاث (SFT ← RM ← PPO) على اتباع التعليمات العامّة. نموذج InstructGPT بحجم 1.3 مليار فُضّل على GPT-3 بحجم 175 مليار، في دليل عملي على أن تقنيات التوائم قادرة على تعويض الفارق في الحجم.

  6. 2022

    ChatGPT

    نموذج شقيق لـInstructGPT مُضبَط للحوار. منظومة RLHF التي بدأت في ورقة التلخيص هذه أصبحت التقنية الأساسية وراء أوسع نظام ذكاء اصطناعي انتشاراً في التاريخ.

الدرس الأعمق في هذه الورقة لا يتعلّق بالتلخيص تحديداً — بل بالفجوة بين ما نُحسّنه وما نريده حقاً. تعظيم الاحتمالية وROUGE وغيرها من المقاييس التقريبية مريحة الاستخدام، لكنها في جوهرها غير متوائمة مع ما يريده البشر. ما أثبتته هذه الورقة هو أن التعلّم مباشرة من الحكم البشري — رغم صعوبته وتكلفته — يُنتج نتائج أفضل نوعياً بفارق واضح.

كل مرة تتحدّث فيها مع نموذج لغوي متوائم حديث — سواء كان ChatGPT أو Claude أو غيرهما — فإن جذور ذلك التفاعل تعود إلى الأفكار في هذه الورقة. التفاصيل تطوّرت، لكن الوصفة الأساسية ما زالت هي نفسها: اجمع تفضيلات بشرية، درّب نموذج مكافأة، أجرِ أمثَلة بـالتعلّم المعزَّز، واستخدم KL لتبقى على أرض صلبة. هي من أكثر الأوراق تأثيراً في عصر توائم الذكاء الاصطناعي.

المرجعStiennon, Ouyang, Wu, Ziegler, Lowe, Voss, Radford, Amodei, Christiano. Learning to Summarize from Human Feedback. NeurIPS, 2020.

مصطلحات هذه الورقة