السَّمْت

التعلم المعزز2017متوسط10 دقيقة قراءة

التعلم المعزز العميق من التفضيلات البشرية

Deep Reinforcement Learning from Human Preferences

Christiano, P. · Leike, J. · Brown, T. · Martic, M. · Legg, S. · Amodei, D. — NeurIPS

المشكلة

لكي يتعلّم ، لا بدّ من دالة مكافأة توجّهه. المشكلة أن أهدافًا كثيرة في العالم الحقيقي — «نظّف الطاولة»، «اقفز شقلبة خلفية»، «قُد بأمان» — يكاد يستحيل تحويلها إلى معادلة رياضية دقيقة. وحين نحاول صياغة مكافأة يدوية تقريبية، يقع الوكيل في : يكتشف ثغرة ترفع الرقم دون أن يحقّق السلوك المطلوب فعلًا. والبديل — أن يقف إنسان ليُعطي مكافأة عند كل خطوة زمنية — يحتاج آلاف الساعات من الإشراف المتواصل.

الإسهام

نظام من ثلاثة أجزاء تعمل بالتوازي، يتعلّم سلوكيات معقدة من التفضيلات البشرية وحدها. (1) تتفاعل مع البيئة وتولّد مسارات؛ (2) إنسان يشاهد أزواجًا قصيرة من هذه المسارات (مقاطع من ثانية إلى ثانيتين) ويختار الأفضل؛ (3) شبكة عصبية تتعلّم دالة مكافأة من هذه المقارنات عبر . بعد ذلك تُحسِّن السياسة أداءها بناءً على هذه المكافأة المُتعلَّمة بأساليب التعلم المعزز المعتادة. بـ 700 مقارنة فقط (نحو ساعة من وقت الإنسان)، يصل النظام إلى أداء يضاهي التعلم المعزز بمكافأة مصمّمة يدويًا في مهام الروبوتات، بل يتعلّم سلوكيات جديدة كالشقلبة الخلفية التي لا تملك دالة مكافأة أصلًا.

الأثر

هذه الورقة هي الجذر الذي نبت منه التعلُّم المعزز من (RLHF) — التقنية التي حوّلت نماذج اللغة الخام مثل GPT-3 إلى مساعدات محادثة مثل ChatGPT وClaude. أثبتت أن التفضيلات البشرية — وليس القواعد المكتوبة يدويًا — يمكن أن تكون إشارة تدريب قابلة للتوسّع في التعلم العميق. تبنّت هذا الإطار لاحقًا أعمال مثل Learning to Summarize وInstructGPT والذكاء الاصطناعي الدستوري والتحسين المباشر للتفضيلات (DPO)، ونقلت الفكرة من محاكاة الروبوتات إلى اللغة والسلامة وما بعدها.

التعلُّم المعزَّز التقليدي أشبه بتدريب كلب بـجهاز نقر وعدّاد مكافآت — تحتاج صيغة دقيقة لكل حركة صغيرة. لكن ماذا لو أردتَ من الكلب شيئًا تعرفه حين تراه لكنك لا تستطيع وصفه رقميًا، مثل «اظهر بشكل لطيف»؟

هذه الورقة تستبدل جهاز النقر بـحَكَم مسابقة مواهب: تشاهد عرضين قصيرين، تشير إلى الذي أعجبك أكثر، والنظام يستنتج ما الذي تكافئ عليه. بعد بضع مئات من المقارنات — نحو ساعة — يصبح الكلب يؤدي شقلبات خلفية.

المشكلة: دوال المكافأة صعبة الصياغة

يعمل التعلُّم المعزَّز بكفاءة عالية حين تتوفر إشارة مكافأة واضحة — نقاط في لعبة Pong، أو مسافة مقطوعة في محاكاة. لكن أغلب الأهداف في العالم الحقيقي لا يمكن اختزالها في معادلة. خذ مثلًا «نظّف الطاولة» أو «قُد بأمان»: صياغة معادلة تغطّي كل جوانب الهدف أمر مرهق في أحسن الأحوال، ومستحيل في كثير منها.

وحين نحاول تبسيط الهدف بمعادلة تقريبية، كثيرًا ما يكتشف الوكيل ثغرات. هذا ما نسمّيه اختراق المكافأة: الوكيل يرفع الرقم لكنه لا يحقّق المطلوب. ورقة المشكلات الملموسة في سلامة الذكاء الاصطناعي وثّقت أنماط الإخفاق هذه وطالبت بحلول أفضل، وهذه الورقة تقدّم واحدًا منها.

افتح في المختبر
جرّب أن تكتب معادلة مكافأة لـ«اقفز شقلبة خلفية». ستلاحظ أن الصياغة اليدوية تُغفل تفاصيل يلتقطها الإنسان فورًا.
تستيقظ التجربة عند وصولك…

الفكرة: اسأل الإنسان أن يُقارن لا أن يُقيِّم

الفكرة المحورية بسيطة: البشر أفضل بكثير في المقارنة بين سلوكين من تقييم سلوك واحد بدرجة رقمية. «أيّ المقطعين أفضل؟» — سؤال سهل. «ما المكافأة الدقيقة لهذا الإطار؟» — سؤال شبه مستحيل.

يعرض النظام على الإنسان مقطعي فيديو قصيرين (ثانية إلى ثانيتين) من سلوك الوكيل ويسأله: «أيهما تفضّل؟» ويمكنه أيضًا أن يجيب «متقاربان» أو «لا أستطيع الحكم». هذه التسميات أرخص بكثير من تقديم مكافأة عند كل خطوة زمنية، وتحمل في الوقت نفسه معلومات غنية عن مقصد الإنسان.

الأهم من ذلك أن الأسلوب يعمل مع أشخاص غير متخصصين. المتعاقدون الذين صنّفوا التفضيلات لم يكونوا يعرفون شيئًا عن التعلُّم المعزَّز أو الخوارزمية — كل ما فعلوه هو مشاهدة المقاطع والإشارة إلى الأفضل.

افتح في المختبر
جرّب دور الحَكَم البشري: اختر المقطع الذي تفضّله، وشاهد كيف تُدرِّب مقارناتك نموذج المكافأة لحظيًا.
تستيقظ التجربة عند وصولك…

النظام: ثلاث حلقات غير متزامنة

تعمل الخوارزمية بثلاث عمليات بالتوازي، مثل ثلاثة عازفين في فرقة جاز يستمع كلٌّ منهم للآخرين ويعدّل عزفه لحظيًا:

  • العملية الأولى — السياسة: تتفاعل مع وتولّد . يمكن استخدام أي خوارزمية تعلم معزز تناسب المجال: PPO/TRPO للروبوتات، وA2C لألعاب أتاري. الفرق أنها لا تُعظّم المكافأة الحقيقية (التي لا تراها أصلًا)، بل تعظّم المكافأة المتوقَّعة من .
  • العملية الثانية — الإنسان: يشاهد أزواجًا من المقاطع القصيرة المأخوذة من تلك المسارات ويحدّد أيها أفضل. تختار استراتيجية مبنية على الأزواجَ الأكثر إفادة — أي تلك التي تختلف عليها متنبئات المكافأة أكثر من غيرها.
  • العملية الثالثة — نموذج المكافأة: تُدرَّب بـ على مقارنات الإنسان. تتعلّم التنبؤ بأيّ المقطعين سيفضّله الإنسان، وتصبح توقعاتها الداخلية للمكافأة هي الإشارة التي تُحسِّن السياسة أداءها بناءً عليها.
افتح في المختبر
انقر على كل مرحلة لتتبّع تدفّق البيانات عبر النظام. الحلقات الثلاث تعمل بالتوازي — السياسة لا تتوقف عن التعلّم.
تستيقظ التجربة عند وصولك…

كيف تتحول المقارنات إلى مكافآت: نموذج برادلي-تيري

كيف ننتقل من عبارة «أفضّل المقطع أ» إلى رقمية؟ الجسر هو نموذج برادلي-تيري — إطار كلاسيكي يعود إلى خمسينيات القرن الماضي، استُخدم في الأصل لترتيب لاعبي الشطرنج. الفكرة بسيطة وأنيقة: إذا كان مجموع مكافأة المقطع أ أعلى، فمن المرجّح أن يفضّله الإنسان. وتحديدًا، تُنمذَج احتمالية تفضيل المقطع 1 على المقطع 2 كالتالي:

P[σ1≻σ2]=exp⁡∑r^(ot1,at1)exp⁡∑r^(ot1,at1)+exp⁡∑r^(ot2,at2)P[\sigma^1 \succ \sigma^2] = \frac{\exp \sum \hat{r}(o^1_t, a^1_t)}{\exp \sum \hat{r}(o^1_t, a^1_t) + \exp \sum \hat{r}(o^2_t, a^2_t)}
احتمالية التفضيل وفق برادلي-تيري — احتمالية تفضيل المقطع 1 تتحدّد بالدالة الأسّية لمجموع المكافآت المتوقّعة. هذه عملية softmax على إجمالي المكافآت — نفس آلية التسوية المستخدمة في الانتباه الذاتي.

فكّر فيها كمسابقة: مجموع مكافأة كل مقطع يمثّل درجة متسابق، وعملية softmax تحوّل هذه الدرجات إلى احتمالات — المقطع ذو المكافأة الأعلى يفوز في الغالب لكن ليس دائمًا، وهذا يعكس التشويش الطبيعي في أحكام البشر.

يُدرَّب نموذج المكافأة r^\hat{r} بتصغير بين الاحتمالات المتوقّعة والتسميات البشرية الفعلية. العملية مطابقة لتدريب مصنِّف عادي، لكن «الفئات» هنا هي ترتيبات تفضيلية وليست تصنيفات تقليدية.

ثلاث تحسينات عملية تجعل النظام يعمل على نطاق واسع: أولًا، تُدرَّب مجموعة نماذج من متنبئات المكافأة ويُحسَب متوسط توقعاتها لزيادة الاستقرار. ثانيًا، يُفترض وجود تشويش بنسبة 10% في التسميات لمراعاة أخطاء البشر الطبيعية. ثالثًا، يُطبَّق ℓ2\ell_2 لمنع نموذج المكافأة من على المقارنات المحدودة.

افتح في المختبر
غيّر قيم المكافأة لمقطعين وراقب كيف يحوّلها نموذج برادلي-تيري إلى احتمالية تفضيل.
تستيقظ التجربة عند وصولك…

الاستعلام الذكي: اسأل الأسئلة الأكثر إفادة

وقت الإنسان ثمين، فلا ينبغي إضاعته على أسئلة لا تضيف شيئًا. بدلًا من عرض أزواج عشوائية، يستخدم النظام لانتقاء المقارنات الأكثر إفادة. تخيّل لجنة من متنبئات المكافأة: حين تتفق جميعها على أيّ مقطع أفضل، لا فائدة من سؤال الإنسان. لكن حين تختلف، يكون رأي الإنسان هو الأعلى قيمة.

عمليًا، يسحب النظام أزواجًا مرشّحة كثيرة من المسارات الحديثة، ويجعل كل عضو في المجموعة يتنبّأ بالمقطع المُفضَّل، ثم يختار الأزواج ذات أعلى تباين في التوقعات. أظهرت تجارب أن هذا الانتقاء النشط يحسّن كفاءة العيّنات، وإن كان الاختيار العشوائي يقترب منه في بعض المهام.

افتح في المختبر
لاحظ أزواج المقاطع التي تختلف عليها المجموعة أكثر — تلك هي التي يستحق سؤال الإنسان عنها.
تستيقظ التجربة عند وصولك…

النتائج: مضاهاة المكافآت المصمّمة يدويًا بساعة من الإشارة

اختُبر النظام في مجالين: روبوتات MuJoCo المحاكاة (Hopper وWalker وCheetah وAnt وغيرها) وألعاب أتاري (Pong وBreakout وBeamRider وEnduro وغيرها).

في MuJoCo، كفت 700 مقارنة بشرية — أي نحو ساعة واحدة — لمضاهاة أداء التعلُّم المعزَّز المُدرَّب بدالة المكافأة الحقيقية. والمفاجئ أنه في مهمة Ant تفوّقت التغذية الراجعة البشرية على المكافأة الحقيقية، لأن البشر كافأوا «الوقوف منتصبًا» بشكل طبيعي، وهو جانب لم تلتقطه المكافأة المصمّمة يدويًا بنفس الدقة.

في أتاري كانت النتائج أكثر تفاوتًا: الطريقة ضاهت أو اقتربت من المكافأة الحقيقية في BeamRider وPong، لكنها عانت في ألعاب مثل Qbert حيث يصعب الحكم على مقاطع قصيرة. في Enduro تفوّق المصنّفون البشريون لأنهم كافأوا التقدّم الجزئي (مثل الاقتراب من السيارات)، فقدّموا بذلك أفضل من النتيجة المتفرّقة للعبة.

افتح في المختبر
قارن الأداء بين المجالات. بدّل بين MuJoCo وأتاري لترى أين تضاهي التغذية الراجعة البشرية المكافآت المصمّمة يدويًا أو تتفوّق عليها.
تستيقظ التجربة عند وصولك…

ما بعد المقاييس: تعليم سلوكيات مبتكرة

القوة الحقيقية لهذا الأسلوب تظهر حين لا توجد دالة مكافأة مسبقة أصلًا. استعرض المؤلفون ثلاثة سلوكيات جديدة لا يغطّيها أي مقياس معياري:

  • الشقلبة الخلفية على Hopper: 900 استعلام، أقل من ساعة. الروبوت يتعلّم تنفيذ شقلبة خلفية والهبوط منتصبًا وتكرارها — سلوك يستحيل وصفه بمعادلة مكافأة بسيطة.
  • الجري على ساق واحدة في Half-Cheetah: 800 استعلام، أقل من ساعة. الروبوت يجري للأمام متوازنًا على ساق واحدة.
  • القيادة حركة المرور في Enduro: نحو 1300 استعلام. الوكيل يتعلّم أن يسير بجانب السيارات بدلًا من تجاوزها — سلوك يناقض نظام نقاط اللعبة نفسه.

هذه التجارب تُبيّن أن التفضيلات البشرية قادرة على تحديد أهداف تتجاوز ما يمكن لـدوال المكافأة اليدوية التعبير عنه، وكل ذلك مع الاعتماد على بنية التعلُّم المعزَّز المعتادة في الخلفية.

ما الذي يهم: دراسات الاستئصال

أجرى المؤلفون دراسات استئصال منهجية لقياس أثر كل مكوّن:

  • الاستعلامات المتواصلة ضرورية. حين يُدرَّب نموذج المكافأة على بيانات مبكرة فقط، تظهر سلوكيات غريبة — في Pong مثلًا، تعلّم الوكيل أن يتجنّب خسارة النقاط دون أن يسجّل أيًا منها، فأنتج تبادلات لا تنتهي. لا بدّ أن يرى نموذج المكافأة السلوك الحالي ليظل مُعايَرًا.
  • المقارنات تتفوّق على الدرجات المطلقة في مهام التحكم المستمر، لأن مقياس المكافآت يختلف من مهمة لأخرى ويُعقّد . في أتاري — حيث المكافآت مقلَّمة — كان أداء المقارنات والدرجات متقاربًا.
  • مقاطع المسار أفضل من الإطارات المفردة. المقاطع الأطول (ثانية إلى ثانيتين) توفّر سياقًا يجعل المقارنات أسهل وأغنى بالمعلومات لكل وحدة من وقت الإنسان.
  • المجموعة تساعد لكنها ليست حاسمة في كل مهمة. في مهام مثل Hopper تحسّن الاستقرار بوضوح، بينما يكون أثرها متواضعًا في المهام الأبسط.
افتح في المختبر
فعّل أو عطّل كل مكوّن وراقب تأثيره على الأداء. الاستعلامات المتواصلة ومقارنات المقاطع هي الأكثر تأثيرًا.
تستيقظ التجربة عند وصولك…

نموذج المكافأة بالكود

فقد مكافأة برادلي-تيري — جوهر نموذج المكافأةpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def preference_loss(reward_model, segment1, segment2, human_label):
    """
    احسب فقد الإنتروبيا التقاطعية لمقارنة تفضيل واحدة.
    human_label: 0 = تفضيل المقطع1، 1 = تفضيل المقطع2، 0.5 = تعادل
    """
    # اجمع المكافآت المتوقعة على كل مقطع مسار
    r1 = sum(reward_model(obs, act) for obs, act in segment1)
    r2 = sum(reward_model(obs, act) for obs, act in segment2)

    # برادلي-تيري: P(تفضيل المقطع1) = exp(r1) / (exp(r1) + exp(r2))
    log_p1 = r1 - np.logaddexp(r1, r2)  # log P(تفضيل المقطع1)
    log_p2 = r2 - np.logaddexp(r1, r2)  # log P(تفضيل المقطع2)

    # الإنتروبيا التقاطعية مقابل تسمية الإنسان
    # تشويش منتظم 10% لنمذجة خطأ الإنسان
    mu1 = 0.9 * (1 - human_label) + 0.05
    mu2 = 0.9 * human_label + 0.05
    loss = -(mu1 * log_p1 + mu2 * log_p2)
    return loss

لماذا كان ذا أهمية

  1. 2017

    التعلم المعزز العميق من التفضيلات البشرية (هذه الورقة)

    أثبتت أن نحو 700 مقارنة من أشخاص غير متخصصين تكفي لتدريب وكلاء التعلم المعزز على مهام MuJoCo وأتاري المعقدة، بل وتعلّم سلوكيات جديدة كالشقلبة الخلفية.

  2. 2019

    الضبط الدقيق للنماذج اللغوية من التفضيلات البشرية

    نقلت الإطار من مجال الروبوتات إلى توليد النصوص، واستخدمت التفضيلات البشرية لضبط GPT-2 على مهام التلخيص والإكمال.

  3. 2020

    تعلم التلخيص بالتغذية الراجعة البشرية

    طبّقت تعلّم المكافأة من التفضيلات على التلخيص بنطاق واسع، وأثبتت أن الإطار ينتقل بنجاح إلى المهام اللغوية ويتفوّق على الضبط الدقيق المُوجَّه وحده.

  4. 2022

    InstructGPT

    وسّع منظومة تعلّم التفضيلات لتشمل GPT-3، وأضاف مرحلة ضبط دقيق مُوجَّه قبل التعلم المعزز من التغذية الراجعة البشرية. يُعدّ السلف المباشر لـ ChatGPT.

  5. 2022

    الذكاء الاصطناعي الدستوري

    استعاض عن المصنّفين البشريين بنموذج ذكاء اصطناعي ينقد مخرجاته ويراجعها وفق مبادئ مكتوبة، مما خفّض التكلفة البشرية أكثر مع الحفاظ على المحاذاة.

  6. 2023

    التحسين المباشر للتفضيلات (DPO)

    استغنى عن نموذج المكافأة المنفصل كليًا، وأظهر أن النموذج اللغوي هو في حدّ ذاته نموذج مكافأة ضمني يمكن تحسينه مباشرة من بيانات التفضيلات.

الطريق من هذه الورقة إلى Claude وChatGPT مباشر وواضح. أثبت Christiano وزملاؤه أن التفضيلات البشرية إشارة تدريب قابلة للتوسّع، ثم أثبت تعلُّم التلخيص أن الفكرة تنجح مع اللغة، ووسّعها InstructGPT إلى مرحلة الإنتاج. في كل مرة تتحدث فيها مع مساعد ذكاء اصطناعي يفهم مقصدك، يعود الأصل إلى هذه الورقة من 2017 وملاحظتها البسيطة: المقارنة أسهل من التقييم الرقمي.

المرجعChristiano, Leike, Brown, Martic, Legg, Amodei. Deep Reinforcement Learning from Human Preferences. NeurIPS, 2017.

مصطلحات هذه الورقة