نماذج اللغة2022متوسط12 دقيقة قراءة

تدريب النماذج اللغوية على اتّباع التعليمات باستخدام التغذية الراجعة البشرية

Training Language Models to Follow Instructions with Human Feedback

Ouyang, L. · Wu, J. · Jiang, X. · Almeida, D. · Wainwright, C. L. · Mishkin, P. · Zhang, C. · Agarwal, S. · Slama, K. · Ray, A. · Schulman, J. · Hilton, J. · Kelton, F. · Miller, L. · Simens, M. · Askell, A. · Welinder, P. · Christiano, P. · Leike, J. · Lowe, R. — NeurIPS

المشكلة

تكبير النماذج اللغوية لا يجعلها أفضل في اتّباع التعليمات. نموذج GPT-3 بمعاملاته البالغة 175 مليار كان قادراً على كتابة نصوص سلسة، لكنه كثيراً ما اختلق حقائق غير صحيحة، أو أنتج محتوى ضاراً، أو تجاهل ما طلبه المستخدم تماماً. السبب الجوهري هو أن هدف — التنبؤ بالرمز التالي — لا يتوافق مع ما يحتاجه المستخدم فعلاً: إجابة مفيدة وصادقة وغير مؤذية. المقاييس المعيارية المعروفة في معالجة اللغة الطبيعية لم تكشف هذه الفجوة لأنها كانت تقيس القدرات لا جودة التوافق مع نوايا المستخدم.

الإسهام

منهجية من ثلاث مراحل النماذج اللغوية مع نوايا المستخدم: (1) الضبط الدقيق بالإشراف (SFT) على إجابات نموذجية كتبها بشر، (2) تدريب نموذج (RM) على مقارنات بشرية لمخرجات النموذج، ثم (3) تحسين نموذج SFT مقابل باستخدام التحسين القريب (PPO) مع عقوبة للحفاظ على قرب النموذج من سياسته الأصلية. النموذج الناتج بحجم 1.3 مليار معامل فضَّله المقيّمون البشريون على GPT-3 ذي الـ 175 مليار معامل رغم أنه أصغر بمئة ضعف، مع تحسُّن في الصدق وانخفاض في المحتوى الضارّ وتراجع طفيف فقط في المقاييس المعيارية.

الأثر

أرسى InstructGPT مفهوم التعلُّم المعزَّز من (RLHF) بوصفه المنهجية المعيارية لمرحلة ما بعد التدريب في النماذج اللغوية الكبيرة. وكل من ChatGPT وClaude وGemini وLlama 2 يستخدم تنويعات من هذا المسار. أثبتت الورقة أن المحاذاة ليست مجرد اعتبار أخلاقي بل تقنية هندسية عملية: نموذج صغير ومُحاذى يتفوّق على نموذج أكبر بكثير لم يُحاذَ. نقلت تركيز المجال من «اجعله أكبر» إلى «اجعله يتّبع التعليمات»، وأطلقت عصر منتجات الذكاء الاصطناعي الحوارية.

تخيَّل GPT-3 كأنه طالب عبقري حصد أعلى الدرجات في كل اختبار، لكنه لا يفهم ما يريده الناس منه. اطلب منه تلخيص فقرة، وقد يكتب لك قصيدة بدلاً منها، أو يُعيد سؤالك كما هو، أو يُضيف تعليقاً مسيئاً — ليس لأنه عاجز عن تقديم إجابة أفضل، بل لأن أحداً لم يُعلّمه ما معنى «أفضل» أصلاً.

InstructGPT هو الطالب نفسه بعد فترة تدريب عملي: في البداية، يُريه مُرشد بضع إجابات مثالية (). بعدها تأتي لجنة محكّمين تُرتّب محاولاته من الأفضل إلى الأسوأ (نموذج المكافأة). وأخيراً يتدرّب الطالب وفق نظام تقييم المحكّمين حتى تتوافق ردوده مع ما يريده الناس فعلاً ().

المفاجأة: الطالب المُتدرِّب بدفتره الصغير يتفوّق على العبقري غير المُتدرِّب رغم مكتبته الضخمة.

مشكلة المحاذاة: الأكبر ≠ الأفضل

تُدرَّب على التنبؤ بالرمز التالي. هذا الهدف يُكسبها الطلاقة والقواعد النحوية والمعرفة العامة — لكنه لا يُعلّمها كيف تكون مفيدة للمستخدم. فالنموذج الماهر في التنبؤ قد يُكمل عبارة «احكِ لي نكتة» بسؤال آخر، أو بمقطع من ويكيبيديا، أو بتعليق مسيء — لأن كل هذه الاحتمالات تبدو واردة بوصفها رموزاً تالية ضمن سياقات الإنترنت المتنوعة.

الفكرة المحورية في InstructGPT هي أن هدف التدريب لا يتوافق مع طريقة الاستخدام الفعلية. المستخدم يريد إجابة مفيدة وصادقة وغير مؤذية، بينما النموذج تعلَّم محاكاة نصوص الإنترنت كما هي. تكبير النموذج إلى 175 مليار جعله أقدر لكنه لم يحلّ هذا التناقض الجوهري.

ثلاثة أنماط إخفاق جعلت هذه الفجوة ملموسة:

— أن يذكر النموذج معلومات خاطئة بثقة تامة.
— أن ينتج محتوى مسيئاً أو ضارّاً.
تجاهل التعليمات — أن يُقدّم إجابات لا علاقة لها بما سأله المستخدم.

افتح في المختبر

نفس التعليمة، سلوك مختلف. لاحظ كيف ينحرف النموذج اللغوي الخام بينما يلتزم النموذج المُحاذى بما طُلب منه.

تستيقظ التجربة عند وصولك…

الحل: ثلاث مراحل لتحويل نموذج خام إلى مُساعد مُحاذى

يُحوِّل InstructGPT نموذجَ GPT-3 من خلال مسار تدريبي من ثلاث مراحل، كل مرحلة تعالج جانباً مختلفاً من المحاذاة وتبني على مخرجات سابقتها. يمكنك تصوّرها كـ التعليم بالقدوة ← التعليم بالمقارنة ← التعليم بالممارسة.

المرحلة الأولى — الضبط الدقيق بالإشراف (SFT): يكتب مُقيّمون بشريون إجابات مثالية لمجموعة من التعليمات. ثم يُضبَط النموذج على هذه الإجابات باستخدام المعتاد — أي نفس دالة خسارة التنبؤ بالرمز التالي، لكن على أزواج تعليمة–إجابة عالية الجودة بدل نصوص الإنترنت الخام. هذه المرحلة تُعطي النموذج تصوراً أوّلياً عن شكل الإجابة الجيدة.

المرحلة الثانية — نموذج المكافأة (RM): يُولِّد نموذج SFT عدة إجابات لكل تعليمة، ثم يُرتِّب المقيّمون البشريون هذه الإجابات من الأفضل إلى الأسوأ. بعدها يُدرَّب نموذج منفصل — هو نموذج المكافأة — على التنبؤ بالإجابة التي سيفضّلها الإنسان. هذا النموذج يتعلّم إخراج درجة عددية واحدة: كلما كانت الإجابة أفضل ارتفعت درجتها.

المرحلة الثالثة — بـ التحسين القريب للسياسة (PPO): يُدرَّب نموذج SFT تدريباً إضافياً عبر التعلّم المعزّز. في كل خطوة يُولِّد النموذج إجابة، ويُقيِّمها نموذج المكافأة بدرجة، ثم تُحدَّث معاملات النموذج لرفع هذه الدرجة — مع عقوبة تباعد KL تمنعه من الانحراف بعيداً عن نموذج SFT الأصلي وإنتاج كلام أجوف يخدع نموذج المكافأة.

افتح في المختبر

انقر على كل مرحلة لاستكشاف مسار RLHF ذي الثلاث خطوات الذي يحوّل GPT-3 إلى InstructGPT.

تستيقظ التجربة عند وصولك…

المرحلة الأولى: الضبط الدقيق بالإشرا — التعلُّم من الأمثلة

هذه أبسط المراحل، لكنها الأساس الذي يقوم عليه كل ما يأتي بعدها. وظّفت OpenAI فريقاً من 40 مقيّماً وطلبت منهم كتابة إجابات مثالية لمجموعة متنوعة من التعليمات — بعضها كتبه المقيّمون أنفسهم وبعضها جاء من طلبات حقيقية أُرسلت إلى واجهة OpenAI البرمجية. شملت هذه التعليمات مهام التوليد والأسئلة المفتوحة والعصف الذهني والمحادثة وإعادة الصياغة والتصنيف والاستخراج.

ضُبط النموذج على نحو 13,000 زوج تعليمة–إجابة باستخدام المعتادة في النمذجة اللغوية. تخيَّل الأمر كأنك تعرض على النموذج معرضاً من الإجابات الممتازة وتقول له: «اكتب مثل هذه». الضبط الدقيق بالإشراف وحده يُنتج نموذجاً أفضل بشكل ملحوظ، لكن له سقف: عدد الأمثلة التي يمكنك تقديمها محدود، وقدرة النموذج على التعميم من مجرد التقليد محدودة أيضاً.

المرحلة الثانية: نموذج المكافأة — تدريب حَكَم

هنا تكمن القوة الحقيقية للمنهجية. بدلاً من كتابة مزيد من الأمثلة — وهو أمر مكلف وبطيء — نُعلِّم نموذجاً أن يُقيِّم جودة الإجابات بنفسه، أي أننا نبني حَكَماً يمنح أي إجابة درجةً على مقياس متصل.

الآلية كالتالي: لكل تعليمة، يُولِّد نموذج SFT من 4 إلى 9 إجابات مرشَّحة. ثم يُرتِّب المقيّمون البشريون هذه الإجابات من الأفضل إلى الأسوأ. من ترتيب $K$ إجابة نستخرج $\binom{K}{2}$ — فمثلاً ترتيب 4 إجابات يُعطينا 6 أزواج. كل زوج يتحوّل إلى إشارة تدريب تقول: «الإجابة أ أفضل من الإجابة ب».

يُهيَّأ نموذج المكافأة انطلاقاً من نموذج SFT، مع استبدال الطبقة الأخيرة المسؤولة عن توليد الرموز بطبقة خطية واحدة تُخرج درجة عددية. ويُدرَّب باستخدام دالة خسارة على المقارنات الزوجية.

\mathcal{L}_{RM}(\theta) = -\frac{1}{\binom{K}{2}} \mathbb{E}_{(x, y_w, y_l) \sim D} \left[ \log \sigma\left( r_\theta(x, y_w) - r_\theta(x, y_l) \right) \right]

دالة خسارة نموذج المكافأة — هدف الترتيب الزوجي وفق نموذج برادلي-تيري — يتعلم نموذج المكافأة من مقارنات التفضيل البشرية بدلاً من الاعتماد على تقييمات مطلقة. فعند عرض إجابتين محتملتين للتعليمة نفسها، يُدرَّب النموذج على منح درجة أعلى للإجابة التي يفضلها البشر ودرجة أقل للإجابة الأقل تفضيلاً. ومع تراكم عدد كبير من المقارنات، يتعلم النموذج دالة ترتيب تعكس الأحكام البشرية المتعلقة بالجودة والفائدة والمواءمة.

لماذا المقارنات الزوجية بدل الدرجات المطلقة؟ تبيّن أن سؤال الإنسان «هل أ أفضل من ب؟» يُعطي نتائج أكثر اتّساقاً بكثير من سؤاله «أعطِ هذه الإجابة درجة من 1 إلى 7». الأحكام النسبية تُنتج إشارة تدريب أنظف وأوضح. ومن ترتيب واحد لـ $K$ عنصر نحصل على $\binom{K}{2}$ زوج تدريبي دون جهد إضافي — وهذا استثمار ذكي لوقت المقيّمين المكلف.

افتح في المختبر

رتِّب 4 إجابات بنفسك وشاهد كيف تُستخرَج أزواج المقارنة من الترتيب.

تستيقظ التجربة عند وصولك…

المرحلة الثالثة: التحسين القريب للسياسة (PPO) — التعلُّم من الحَكَم

الآن أصبح لدينا حَكَم مُدرَّب (نموذج المكافأة). المرحلة الأخيرة تستخدم التعلُّم المعزَّز لتحسين مخرجات النموذج بحيث ترضي هذا الحَكَم.

يمكن إسقاط هذا الإطار مباشرة على مفاهيم التعلُّم المعزَّز: السياسة هي النموذج اللغوي نفسه، والفعل هو توليد الرمز التالي، والحالة هي التعليمة مع الرموز التي وُلِّدت حتى الآن، والمكافأة هي الدرجة التي يمنحها نموذج المكافأة للإجابة الكاملة.

لكن هناك فخ: إذا حسَّنّا النموذج فقط لرفع درجة نموذج المكافأة، فإن السياسة تتعلّم بسرعة استغلال نقاط ضعف الحَكَم — فتُنتج كلاماً أجوف يحصل مصادفةً على درجات عالية. يُسمى هذا . والحل هو عقوبة تباعد KL: يُعاقَب النموذج كلما ابتعد كثيراً عن سياسة SFT الأصلية، فتبقى مخرجاته متماسكة لغوياً مع تحسُّن مستمر في المحاذاة.

J(\pi_\theta) = \mathbb{E}_{x \sim D,\, y \sim \pi_\theta(\cdot|x)} \left[ r_\phi(x, y) - \beta \, \text{KL}\big(\pi_\theta(\cdot|x) \,\|\, \pi_{\text{SFT}}(\cdot|x)\big) \right]

هدف PPO-RLHF — تعظيم المكافأة مع البقاء قريباً من نموذج SFT — أثناء تدريب RLHF، يُشجَّع النموذج على إنتاج استجابات تحصل على درجات أعلى من نموذج المكافأة. وفي الوقت نفسه، يُمنَع من الابتعاد بصورة كبيرة عن نموذج الضبط الدقيق بالإشراف الذي انطلق منه. ويتحكم عامل موازنة في هذا التوازن بين تحسين الأداء والحفاظ على الاستقرار. فكلما كانت القيود أقوى بقي النموذج أقرب إلى سلوكه الأصلي، بينما تسمح القيود الأضعف بإحداث تغييرات أكبر سعياً وراء مكافآت أعلى.

تُقدِّم الورقة أيضاً نسخة معدَّلة تُسمى PPO-ptx، تمزج تحديثات التحسين القريب للسياسة مع نسبة صغيرة من خسارة الأصلية. الفكرة هي إضافة مرساة تمنع النموذج من نسيان قدراته اللغوية العامة أثناء تعلّمه اتّباع التعليمات — وهذا التراجع في القدرات العامة يُعرف بـ . عملياً، حقّق PPO-ptx أفضل توازن بين القدرة على اتّباع التعليمات والأداء العام في مهام معالجة اللغة الطبيعية.

افتح في المختبر

اسحب β لاستكشاف المقايضة. قيمة منخفضة جداً = اختراق المكافأة. قيمة مرتفعة جداً = النموذج بالكاد يتغيّر.

تستيقظ التجربة عند وصولك…

مسار RLHF بالكود

مسار RLHF ذو الثلاث مراحل، مُبسَّطاًpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))

# ── المرحلة 1: الضبط الدقيق بالإشراف ─────────────────────────
def sft_loss(model, prompt, ideal_response):
    """إنتروبيا متقاطعة معيارية على إجابات مثالية كتبها بشر."""
    logits = model(prompt + ideal_response)
    return cross_entropy(logits, ideal_response)

# ── المرحلة 2: تدريب نموذج المكافأة ───────────────────────────
def reward_model_loss(rm, prompt, y_win, y_lose):
    """برادلي-تيري: ارفع درجة الفائز فوق درجة الخاسر."""
    r_win  = rm.score(prompt, y_win)
    r_lose = rm.score(prompt, y_lose)
    return -np.log(sigmoid(r_win - r_lose))

# ── المرحلة 3: PPO مع عقوبة تباعد KL ──────────────────────────
def ppo_reward(rm, policy, sft_policy, prompt, response, beta=0.2):
    """المكافأة = درجة نموذج المكافأة ناقص تباعد KL عن SFT."""
    rm_score = rm.score(prompt, response)
    kl = compute_kl(policy, sft_policy, prompt, response)
    return rm_score - beta * kl

# مسار RLHF بالكامل:
# 1. ضبط دقيق بالإشراف على ~13 ألف مثال → يُنتج π_SFT
# 2. تدريب نموذج المكافأة على ~33 ألف مقارنة → يُنتج r_ϕ
# 3. PPO على ~31 ألف تعليمة باستخدام r_ϕ → يُنتج π_RLHF
# هذا كل شيء. ChatGPT وClaude وGemini كلها تُحسِّن هذه الوصفة.

النتيجة المفاجئة: نموذج صغير مُحاذى يتفوّق على نموذج كبير غير مُحاذى

النتيجة الأبرز: فضَّل المقيّمون البشريون InstructGPT بحجم 1.3 مليار معامل على GPT-3 بحجم 175 مليار معامل — أي نموذج يفوقه حجماً بمئة ضعف. وتحديداً، فضَّل المقيّمون مخرجات InstructGPT في 71% من الحالات.

وإلى جانب التفضيل العام، حقّق InstructGPT تحسينات ملموسة:

ارتفع الصدق على معيار TruthfulQA — أي أن النموذج أصبح يختلق معلومات أقل.
انخفضت السُّمِّيَّة — أي أن المحتوى الضارّ الذي يُولّده النموذج تراجع.
تحسّن اتّباع التعليمات تحسُّناً كبيراً — النموذج أصبح يجيب فعلاً عمّا سُئل عنه.
كان التراجع في المقاييس المعيارية ضئيلاً — ضريبة المحاذاة كانت صغيرة، خاصةً مع PPO-ptx.

كانت النتيجة مقنعة لدرجة أن OpenAI استبدلت واجهة GPT-3 الافتراضية بـ InstructGPT — وكأنها تقول: «المحاذاة ليست رفاهية، بل هي المنتج نفسه».

افتح في المختبر

InstructGPT بحجم 1.3 مليار يتفوّق على GPT-3 بحجم 175 مليار. المحاذاة تتفوّق على الحجم.

تستيقظ التجربة عند وصولك…

المقيّمون البشريون: مَن يُعلِّم النموذج؟

وظّفت OpenAI أربعين متعاقداً عبر منصتَي Upwork وScale AI. اختِير المقيّمون بناءً على قدرتهم على مراعاة تفضيلات شرائح ديموغرافية مختلفة واكتشاف المخرجات الضارة المحتملة والإبلاغ عنها. أما مجموعة التعليمات فجاءت من مصدرين: تعليمات كتبها المقيّمون أنفسهم تغطي مهاماً متنوعة، وتعليمات أرسلها مستخدمون حقيقيون إلى واجهة OpenAI البرمجية بعد إزالة المعلومات الشخصية.

توزّعت البيانات عبر المراحل الثلاث كالتالي:

بيانات الضبط الدقيق بالإشراف: نحو 13,000 زوج تعليمة–إجابة.
بيانات نموذج المكافأة: نحو 33,000 تعليمة، لكل منها 4–9 مخرجات مُرتَّبة ← أي نحو 270,000 مقارنة زوجية.
بيانات PPO: نحو 31,000 تعليمة (لا حاجة لتقييمات بشرية هنا — نموذج المكافأة يُقيِّم الإجابات مباشرةً أثناء التدريب).

من الخيارات التصميمية المهمة أن المقيّمين كانوا يُرتّبون دفعة كاملة من المخرجات لكل تعليمة. فمن $K$ مخرج مُرتَّب تُستخرَج $\binom{K}{2}$ مقارنة زوجية — وبهذا تُنتج كل جلسة تقييم واحدة عدداً كبيراً من إشارات التدريب.

القيود والأسئلة المفتوحة

شكّل InstructGPT نقلة نوعية، لكن الورقة تتميّز بشفافيتها في الاعتراف بالقيود:

تحيُّز المقيّمين: النموذج يتوافق مع تفضيلات المقيّمين، لا مع تفضيلات البشرية جمعاء. مقيّمون مختلفون يعني محاذاة مختلفة.
اختراق المكافأة لم يُحلّ بالكامل: حتى مع عقوبات تباعد KL، يمكن للنموذج أن يكتشف ثغرات خفية في نموذج المكافأة، خاصةً عند تقديم تعليمات تختلف عن توزيع بيانات التدريب.
ضريبة المحاذاة: عملية RLHF تُضعف الأداء قليلاً في المقاييس المعيارية — كأن النموذج يُقايض جزءاً من «قدراته» مقابل «سلوك أفضل».
الهَلوَسة لم تختفِ: InstructGPT قلّل الاختلاق لكنه لم يقضِ عليه. النموذج لا يزال يُصرّح بمعلومات خاطئة بثقة، وإن كان ذلك أقل تواتراً.
الأمان لم يُحسَم: لا يزال بالإمكان التلاعب بالنموذج لإنتاج مخرجات ضارة عبر تعليمات عدائية مصمَّمة لذلك.

لماذا كانت هذه الورقة مهمة

الوصفة وراء كل مُساعد ذكاء اصطناعي

مسار InstructGPT ذو المراحل الثلاث — ضبط دقيق بالإشراف ← نموذج مكافأة ← التحسين القريب للسياسة — أصبح المخطط الذي سار عليه كل نظام ذكاء اصطناعي حواري رئيسي بعده. ChatGPT طبّقه على GPT-3.5، وClaude طوّره عبر الذكاء الاصطناعي الدستوري، وLlama 2 وسّعه ليكون مفتوح المصدر، وGemini كيّفه للعمل مع أنماط متعددة. أثبتت الورقة فكرة جوهرية: المحاذاة مهارة يمكن تعلُّمها وليست قيداً معمارياً، وكمية صغيرة من التغذية الراجعة البشرية تقطع شوطاً بعيداً.

2017
خوارزمية PPO
يُقدِّم شولمان وآخرون خوارزمية التحسين القريب للسياسة، وهي خوارزمية تعلُّم معزَّز ستُصبح لاحقاً المحرّك الأساسي لـ RLHF. تتميّز بالاستقرار والكفاءة والبساطة مقارنةً بـ TRPO.
2020
تعلُّم التلخيص من التغذية الراجعة البشرية
يُثبت ستينون وآخرون أن مسار المراحل الثلاث (SFT ← RM ← PPO) يعمل بنجاح في مهمة التلخيص. هذا العمل هو السلف المباشر لـ InstructGPT.
2022
InstructGPT
يُوسِّع أويانغ وآخرون مسار RLHF ليشمل اتّباع التعليمات بشكل عام. نموذج بحجم 1.3 مليار معامل يتفوّق على GPT-3 ذي الـ 175 مليار. وتستبدل OpenAI واجهة GPT-3 بـ InstructGPT.
2022
ChatGPT
بالبناء على وصفة InstructGPT، يُطلق ChatGPT نماذج مُحاذاة بـ RLHF للجمهور العام ويصل إلى 100 مليون مستخدم خلال شهرين.
2022
الذكاء الاصطناعي الدستوري (Anthropic)
يستبدل باي وآخرون المقيّمين البشريين بمجموعة من المبادئ المكتوبة، ويُتيحون للذكاء الاصطناعي توليد تغذيته الراجعة بنفسه. بذلك تتوسّع المحاذاة دون الحاجة لتوسيع العمالة البشرية.
2023
DPO — التحسين المباشر للتفضيلات
يُثبت رافايلوف وآخرون أن هدف RLHF يمكن تحقيقه دون الحاجة إلى نموذج مكافأة منفصل أو تعلُّم معزَّز — يكفي دالة خسارة واحدة بإشراف على أزواج التفضيلات. أبسط وأقل تكلفة.
2023
Llama 2 (Meta)
تُطبِّق Meta تقنية RLHF على نطاق واسع ضمن عائلة نماذج مفتوحة المصدر، مما يُتيح تقنيات المحاذاة للجميع بدلاً من حصرها في المختبرات المغلقة.

غيَّر InstructGPT فهم المجال بأكمله لما يجعل النموذج اللغوي مفيداً فعلاً. أظهر أن المحاذاة ليست ترفاً فلسفياً بل ضرورة عملية — وأن الفجوة بين نموذج قادر ونموذج مفيد يمكن ردمها بكمية بيانات بشرية صغيرة بشكلٍ مفاجئ: 13,000 إجابة نموذجية و33,000 مقارنة كانت كافية لتحويل أقوى نموذج لغوي في وقته إلى أداة يفضّلها الناس فعلاً.

المرجعOuyang, Wu, Jiang, Almeida, Wainwright, Mishkin, Zhang, Agarwal, Slama, Ray, Schulman, Hilton, Kelton, Miller, Simens, Askell, Welinder, Christiano, Leike, Lowe. Training language models to follow instructions with human feedback. NeurIPS, 2022.

مصطلحات هذه الورقة

المحاذاةAlignment
التعلم بالتعزيز القائم على التقييم البشريReinforcement Learning from Human Feedback
الضبط الدقيق الخاضع للإشرافSupervised Fine-Tuning
نموذج المكافأةReward Model
التحسين التقريبي للسياسةProximal Policy Optimization
تباعد KLKL Divergence
اختراق المكافأةReward Hacking
ضريبة المحاذاةAlignment Tax
التغذية الراجعة البشريةHuman Feedback
المقارنة الزوجيةPairwise Comparison
نموذج برادلي-تيريBradley-Terry Model
اتباع التعليماتInstruction Following
InstructGPTInstructGPT