التحسين المباشر للتفضيلات: نموذجك اللغوي هو سرًّا نموذج مكافأة

قبل ظهور DPO، كانت مواءمة نموذج لغوي مع تفضيلات البشر تمرّ بثلاث مراحل تُعرف بخط عمل التعلم المعزز من التغذية الراجعة البشرية:

المرحلة الأولى — الضبط الدقيق المُوجَّه (SFT). نبدأ من نموذج لغوي مُدرَّب مسبقًا ونضبطه على بيانات عالية الجودة تحتوي أمثلة توضيحية. الناتج هو سياسة $\pi_{\text{SFT}}$ تستطيع اتباع التعليمات، لكنها لا تعكس بعدُ التفضيلات البشرية الدقيقة.

المرحلة الثانية — نمذجة المكافأة. نجمع بيانات تفضيل: لكل مُدخل $x$ نأخذ إجابتين ويُحدِّد إنسان أيّهما أفضل ($y_w \succ y_l$). ثم ندرِّب نموذج مكافأة $r_\phi(x, y)$ للتنبؤ بهذه التفضيلات وفق نموذج برادلي-تيري — أي أن احتمال تفضيل الإجابة $y_1$ على $y_2$ يساوي $\sigma(r(x, y_1) - r(x, y_2))$.

المرحلة الثالثة — التحسين بالتعلم المعزز. نستخدم تحسين السياسة القريبة (PPO) لتعظيم المكافأة المُتعلَّمة، مع تقييد النموذج بعقوبة تباعد KL حتى لا يبتعد كثيرًا عن سياسة الضبط الدقيق. هذه المرحلة تتطلب تحميل أربعة نماذج في الذاكرة في آنٍ واحد: السياسة قيد التدريب، والمرجع المُجمَّد، ونموذج المكافأة، وشبكة القيمة لتقليل التباين.

هدف RLHF يُصاغ هكذا: أوجِد السياسة $\pi$ التي تُعظِّم المكافأة المتوقعة مع بقائها قريبة من السياسة المرجعية $\pi_{\text{ref}}$:

$\max_\pi \; \mathbb{E}_{x \sim \mathcal{D}, \, y \sim \pi}[r(x, y)] - \beta \, D_{\text{KL}}[\pi(y|x) \| \pi_{\text{ref}}(y|x)]$

للوهلة الأولى يبدو أن حلّ هذه المسألة يستلزم تعلمًا معززًا. لكن رفائيلوف وزملاءه اكتشفوا أمرًا لافتًا: هذه المسألة التحسينية لها حل بصيغة مغلقة. السياسة المُثلى تأخذ شكل توزيع غيبس:

$\pi^*(y|x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y|x) \exp\!\left(\frac{1}{\beta} r(x,y)\right)$

حيث $Z(x)$ هو ثابت التقسيم (ثابت التسوية). الآن تأتي الخطوة الحاسمة: نعيد ترتيب المعادلة لنعزل المكافأة:

$r(x, y) = \beta \log \frac{\pi^*(y|x)}{\pi_{\text{ref}}(y|x)} + \beta \log Z(x)$

أي أن المكافأة مُحدَّدة بالكامل من نسبة السياسة المُثلى إلى السياسة المرجعية. وثابت التقسيم $Z(x)$ يُلغى تلقائيًّا عندما نقارن إجابتين على المُدخل نفسه — وهذا بالضبط ما يفعله نموذج برادلي-تيري.

عندما نعوِّض المكافأة الضمنية في نموذج برادلي-تيري للتفضيلات، نحصل على دالة خسارة DPO — وهي دالة إنتروبيا تقاطعية ثنائية تُحسِّن السياسة مباشرةً:

لفهم هذه الدالة، اقرأها من الداخل إلى الخارج. الحدّ $\log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$ هو نسبة اللوغاريتم بين السياسة والمرجع — أي مقدار ابتعاد النموذج عن نقطة البداية لإجابة معيّنة. الفرق بين نسبتَي لوغاريتم كهاتين هو هامش المكافأة الضمنية: كم يُفضِّل النموذج الإجابة المختارة على المرفوضة. الدالة السينية تحوّل هذا الهامش إلى احتمال، واللوغاريتم يحوّله إلى دالة خسارة تقاطعية.

والجميل في التدرُّج هنا أن له تفسيرًا بديهيًّا: يرفع احتمال $y_w$ ويخفض احتمال $y_l$، لكن بأوزان تتناسب مع مقدار خطأ النموذج الحالي. إذا كان النموذج يفضّل $y_w$ بقوة أصلًا، يكون التدرُّج صغيرًا لأنه لا حاجة لمزيد من التعديل. أما إذا كان يفضّل $y_l$ خطأً، فالتدرُّج يكبر. هذا يعني أن DPO يُركِّز تحديثاته تلقائيًّا حيث تكون الحاجة إليها أشدّ — كأنه منهج تعليمي ذاتي التنظيم.

الاشتقاق بأكمله مبنيّ على نموذج برادلي-تيري للتفضيلات، وهو نموذج كلاسيكي يعود لعام 1952. فكرته بسيطة: احتمال تفضيل العنصر أ على العنصر ب يعتمد على الفارق في «قوتهما» (وهنا القوة هي المكافأة):

$P(y_1 \succ y_2 | x) = \sigma(r(x, y_1) - r(x, y_2))$

حيث $\sigma$ هي الدالة السينية. هذا هو النموذج اللوجستي نفسه المُستخدم في تصنيفات إيلو في الشطرنج — احتمال فوز لاعب يعتمد على الفجوة بين تصنيفَيهما. حين تكون فجوة المكافأة كبيرة يكون التفضيل شبه محسوم، وحين تكون صغيرة يقترب الأمر من رمي عملة.

DPO يستبدل المكافأة الصريحة $r$ بـمكافأة ضمنية معرَّفة من نسبة لوغاريتم السياسة إلى المرجع. النموذج الذي كان ظاهريًّا «مجرد مُولِّد نصوص» هو في الواقع يُسند سرًّا درجة مكافأة لكل إجابة يمكن أن يُنتجها.

المعامل $\beta$ يحكم التوازن بين تعظيم المكافأة والبقاء قريبًا من السياسة المرجعية. تخيّله كـطول حبل يربط النموذج بنقطة انطلاقه:

• $\beta$ مرتفع (حبل طويل): النموذج حرّ في الابتعاد كثيرًا عن المرجع. يستطيع ملاحقة المكافأة بقوة، لكنه يُخاطر بالانحلال — كأن يُنتج نصوصًا تحصد درجات عالية على بيانات التفضيل لكنها تبدو مصطنعة.
• $\beta$ منخفض (حبل قصير): النموذج مقيَّد بالبقاء قريبًا من المرجع. مخرجاته أكثر أمانًا لكنها قد تكون أقل توافقًا مع التفضيلات.

في دالة خسارة DPO، يظهر $\beta$ كمعامل تحجيم على نِسَب اللوغاريتم. كلّما كبر $\beta$ تضخَّم هامش المكافأة فتصبح الدالة السينية أكثر حسمًا والتدرُّجات أحدّ. وكلّما صغر $\beta$ انضغط الهامش فأصبحت التحديثات ألطف. عمليًّا، تعمل القيم بين $\beta \approx 0.1$ و $0.5$ جيدًا في أغلب مهام المواءمة.

لنتتبّع ما يحدث لمثال تدريبي واحد يتكوّن من زوج تفضيل $(x, y_w, y_l)$:

الخطوة 1. نحسب اللوغاريتم الاحتمالي لكلتا الإجابتين تحت السياسة الحالية $\pi_\theta$ والمرجع المُجمَّد $\pi_{\text{ref}}$.

الخطوة 2. نحسب نِسَب اللوغاريتم: $\hat{r}_\theta(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$ لكلّ من $y_w$ و$y_l$. هذه هي المكافآت الضمنية.

الخطوة 3. نحسب هامش المكافأة: $\hat{r}_\theta(x, y_w) - \hat{r}_\theta(x, y_l)$. هذا يقيس مقدار تفضيل النموذج الحالي للإجابة المختارة على المرفوضة.

الخطوة 4. نمرِّر الهامش عبر الدالة السينية $\sigma$ للحصول على احتمال التفضيل الذي يتنبّأ به النموذج.

الخطوة 5. نحسب دالة الخسارة (الإنتروبيا التقاطعية الثنائية): $-\log \sigma(\text{الهامش})$. إذا رتّب النموذج $y_w$ فوق $y_l$ بهامش واسع، تكون الخسارة قريبة من الصفر. وإذا رتّبهما بالعكس، ترتفع الخسارة.

الخطوة 6. ننفّذ الانتشار العكسي. التدرُّج يرفع $\pi_\theta(y_w|x)$ ويخفض $\pi_\theta(y_l|x)$، بأوزان تتناسب مع خطأ النموذج الحالي.

DPO ليس تقريبًا — بل هو مكافئ رياضيًّا لهدف RLHF تحت نموذج برادلي-تيري للتفضيلات. الاشتقاق يمرّ بثلاث خطوات:

1. مسألة تعظيم المكافأة المقيَّدة بـتباعد KL لها سياسة مُثلى بصيغة مغلقة (وهي نتيجة توزيع غيبس المعروفة في الميكانيكا الإحصائية).
2. يمكن إعادة ترتيب هذه السياسة المُثلى للتعبير عن المكافأة بدلالة السياسة والمرجع.
3. تعويض هذه «المكافأة الضمنية» في دالة الأرجحية اللوغاريتمية لبرادلي-تيري على بيانات التفضيل يعطينا دالة خسارة DPO.

لم يُستخدم أيّ تقريب في أيّ خطوة. إذا كان نموذج برادلي-تيري هو نموذج التفضيل الصحيح، فإن الحدّ الأدنى الشامل لدالة خسارة DPO هو السياسة ذاتها التي كان خط عمل RLHF الكامل سيتقارب إليها — بشرط توفر بيانات لا نهائية وتحسين مثالي.

الفارق العملي يكمن في مسار التحسين: PPO يستكشف بأخذ عيّنات من السياسة الحالية وتعديلها، بينما DPO يُحسِّن على مجموعة بيانات ثابتة مُعدَّة مسبقًا. هذا يجعل DPO أبسط، لكنه يعني أنه لا يستطيع اكتشاف إشارات مكافأة لم تُلتقط أصلًا في بيانات التفضيل.

اختبر رفائيلوف وزملاؤه DPO على ثلاث مهام:

التوليد بمشاعر مُوجَّهة — ضبط GPT-2 لتوليد مراجعات أفلام إيجابية. DPO طابق أداء PPO أو تفوّق عليه مع كونه أسهل في الضبط.

التلخيص — مواءمة نموذج على مجموعة بيانات TL;DR للتلخيص. حقّق DPO درجات مكافأة مقاربة لأساليب PPO بتكلفة حسابية أقلّ بكثير.

الحوار أحادي الدور — التدريب على مجموعة بيانات Anthropic للمساعدة والسلامة. أنتج DPO إجابات بمعدلات فوز أعلى من خط أساس الضبط الدقيق مقارنةً بـ PPO، دون الحاجة إلى نموذج مكافأة ومع تقارب أسرع.

عبر المهام الثلاث، ظهر نمط ثابت: جودة مواءمة مماثلة أو أفضل، مع تدريب أبسط بفارق كبير. غياب نموذج المكافأة أزال مشكلة استغلال المكافأة، والتحسين المُوجَّه أزال عدم استقرار PPO.

لعلّ إسهام DPO المفاهيمي يتجاوز إسهامه التقني ويبقى أطول أثرًا. فقد كشف أن التعلم المعزز لم يكن شرطًا لازمًا لتحقيق المواءمة — حرفا «RL» في «RLHF» كانا اختيارًا لا ضرورة. الهدف نفسه يمكن تحسينه بالتعلم المُوجَّه، ونموذج المكافأة كان دائمًا كامنًا داخل السياسة. هذا التأطير الجديد فتح فضاءً تصميميًّا واسعًا لخوارزميات المواءمة لا يزال المجال يستكشفه حتى اليوم.