التعلُّم المُحافِظ لدالة Q للتعلُّم المعزَّز دون اتصال

في التعلُّم المعزَّز التقليدي، يتفاعل الوكيل مع البيئة: يتخذ أفعالاً، ويراقب المكافآت، ويتحسّن تدريجياً. هذه الحلقة — نفِّذ، لاحِظ، تعلَّم، كرِّر — هي المحرّك الأساسي للتعلُّم المعزَّز. لكن في كثير من التطبيقات الواقعية تستحيل هذه الحلقة. لا يمكنك ترك سيارة ذاتية القيادة تصطدم آلاف المرات حتى تتعلّم. ولا يمكنك تجريب جرعات دوائية على مرضى حقيقيين. ولا يمكنك السماح لروبوت بتدمير معدّات مكلفة أثناء الاستكشاف.

التعلُّم المعزَّز دون اتصال يكسر هذه الحلقة تماماً. بدلاً من التفاعل مع البيئة، يحصل الوكيل على مجموعة بيانات ثابتة $\mathcal{D}$ تضمّ انتقالات $(s, a, r, s')$ سبق أن جمعتها سياسة سلوك معيّنة $\pi_\beta$. الهدف لا يتغيّر — تعلُّم أفضل سياسة ممكنة — لكن الوكيل لا يستطيع تجريب أفعال جديدة ولا زيارة حالات جديدة. عليه أن يستخرج أفضل استراتيجية من البيانات التي بين يديه، تماماً كطالب شطرنج يدرس مباريات كبار الأساتذة دون أن يلمس رقعة اللعب.

لماذا تفشل خوارزميات تعلُّم Q التقليدية حين نستخدمها دون اتصال؟ السبب حلقة مفرغة خبيثة بين الانزياح التوزيعي و**فرط التقدير**.

دالة Q — أي $Q(s, a)$ — تُقدِّر العائد التراكمي المتوقع عند اتخاذ الفعل $a$ في الحالة $s$ ثم التصرّف بالشكل الأمثل بعد ذلك. يُحدَّث هذا التقدير عبر معادلة بلمان، التي تتضمّن عملية $\max$ على الأفعال في الحالة التالية:

في التعلُّم المعزَّز المتصل، فرط التقدير مشكلة مزعجة لكنها قابلة للعلاج — لأن الوكيل سيُجرّب الفعل المُبالَغ في قيمته عاجلاً أو آجلاً، ويكتشف أن مكافأته متواضعة، فيُعدّل تقديره. البيئة هنا تلعب دور المُراجِع الواقعي.

لكن في التعلُّم المعزَّز دون اتصال، لا يوجد مراجع. الوكيل لن يُجرّب الفعل أبداً، فيظلّ تقدير دالة Q المنتفخ كما هو. والأسوأ أن السياسة تنجذب تحديداً نحو هذه الأفعال لأنها تبدو الأعلى قيمةً. هنا تبدأ الحلقة المفرغة:

أولاً، تُبالغ دالة Q في تقدير الأفعال خارج التوزيع — أي الأفعال الغائبة عن البيانات. ثانياً، تختار السياسة هذه الأفعال تحديداً لأنها تحمل أعلى قيمة ظاهرية. ثالثاً، ينقل تحديث بلمان القيم المنتفخة إلى حالات أخرى. رابعاً، تنهار مصداقية دالة Q بالكامل.

في النهاية يحصل الوكيل على سياسة تختار بثقة عمياء أفعالاً لا سند لها في البيانات — كطالب يتفوّق في اختبار تجريبي لأنه حفظ الإجابات الخاطئة.

الفكرة الجوهرية لـCQL بسيطة وأنيقة: أضف حدّ تنظيم يدفع قيم Q للأسفل على الأفعال التي قد تختارها السياسة، ويرفعها على الأفعال الموجودة فعلاً في مجموعة البيانات. القوة الأولى تمنع فرط التقدير للأفعال غير المُختبَرة، والثانية تحافظ على دقة التقديرات للأفعال المدعومة بالبيانات.

تخيّل نحّاتاً يعمل بيديه في آنٍ واحد: إحداهما تضغط الصلصال نحو الأسفل في المناطق التي لا دليل عليها — فتكبت القيم المُتوهَّمة — والأخرى ترفعه حيث تُوفّر البيانات أرضية صلبة — فتحمي القيم الحقيقية. المحصلة سطح لـدالة Q مُتحفّظ عمداً: قد يُقلّل من القيمة الحقيقية، لكنه لن يُبالغ فيها بشكل خطير أبداً.

من الناحية الرسمية، يُضيف CQL حدّ تنظيم $\mathcal{R}(\theta)$ إلى دالة هدف خطأ بلمان المعيارية. هذا الحدّ يتكوّن من شقّين: الأول يُصغّر قيم دالة Q تحت توزيع أخذ العينات $\mu(a|s)$ — أي يخفض القيم على الأفعال التي تُرشّحها السياسة. والثاني يُعظّم قيم Q تحت توزيع مجموعة البيانات $\hat{\pi}_\beta(a|s)$ — أي يرفع القيم على الأفعال التي نملك عنها بيانات فعلية:

النتيجة النظرية الأهم في CQL هي أن دالة Q المُتعلَّمة $\hat{Q}^\pi$ تُشكّل حدّاً أدنى لدالة Q الحقيقية $Q^\pi$ عند كل زوج حالة-فعل تزوره السياسة. عملياً، هذا يعني أنه حين يُقيّم الوكيل سياسةً ما عبر $\hat{Q}$، فإن تقديره سيكون أقلّ من الواقع دائماً — ولن يُبالغ فيه أبداً:

ما الفائدة العملية من ذلك؟ في التعلُّم المعزَّز دون اتصال لا تستطيع تقييم السياسة بتشغيلها في البيئة الحقيقية، فأنت مُجبر على الحكم عليها من خلال دالة Q وحدها. لو كانت هذه الدالة تُبالغ في التقدير، فستختار سياسة سيئة تبدو جيدة. ضمان الحدّ الأدنى في CQL يجعل دالة Q حَكَماً موثوقاً وإن كان حذراً.

الأمر أشبه بمدقّق مالي يُقدّم دائماً تقييمات متحفّظة: قد تكون قيمة الشركة أعلى مما يقوله التقرير، لكنها لن تكون أقلّ منه أبداً. يمكنك اتخاذ قرارات استثمارية مطمئنة بناءً على هذا التدقيق — ربما تُفوِّت بعض الفرص، لكنك لن تُفاجأ بخسائر كارثية.

لـCQL صيغتان عمليتان تعتمدان على طبيعة فضاء الأفعال: هل هو منفصل (كألعاب أتاري) أم مستمر (كالتحكم الروبوتي)؟

CQL(H) — مُصمَّمة للأفعال المستمرة. تستخدم هذه الصيغة السياسة الحالية $\pi$ بوصفها توزيع أخذ العينات $\mu$، فيدفع حدّ التنظيم قيم Q للأسفل تحديداً على الأفعال التي تُرجّحها السياسة المُتعلَّمة. الحرف "H" يرمز إلى مكافأة الإنتروبيا الموروثة من الناقد-الممثل اللطيف (SAC)، أي أن CQL(H) في جوهره هو SAC مع دالة Q متحفّظة. تُحدَّث السياسة ودالة Q بالتناوب.

CQL(ρ) — مُصمَّمة للأفعال المنفصلة، أو حين تريد حدّ تنظيم ثابتاً لا يعتمد على السياسة. هنا $\mu$ توزيع مسبق ثابت (منتظم على الأفعال مثلاً)، ممّا يُبسّط التنفيذ كثيراً لأن حدّ التنظيم لا يتغيّر مع تحديث السياسة. وتُطبَّق حيلة $\log\sum\exp$ مباشرة على مجموعة الأفعال المنفصلة.

من أبرز نقاط قوة CQL بساطة تطبيقه. لتحويل أي خوارزمية تعلُّم Q أو ناقد-ممثل إلى نسختها المُحافِظة، كل ما تحتاجه هو بضعة أسطر إضافية في حساب خسارة دالة Q. خسارة خطأ بلمان تبقى كما هي تماماً، وتُضاف عقوبة CQL فوقها.

عملياً، التنفيذ يتطلب ثلاث خطوات: أخذ عينات أفعال من السياسة الحالية (أو بشكل منتظم في الحالة المنفصلة)، ثم حساب قيم $Q$ على تلك الأفعال، وأخيراً إضافة عقوبة $\log\sum\exp$ مطروحاً منها متوسط $Q$ لأفعال مجموعة البيانات. الناتج عادةً 5 إلى 10 أسطر إضافية فوق تنفيذ SAC أو DQN معياري.

اختُبر CQL على مجموعة معايير D4RL — المنصة المرجعية القياسية للتعلُّم المعزَّز دون اتصال. تتضمّن D4RL مهام حركة (HalfCheetah وHopper وWalker2d) مع مجموعات بيانات بمستويات جودة مختلفة: عشوائية، ومتوسطة، ومتوسطة مع إعادة تشغيل، وخبيرة. وتشمل أيضاً ألعاب أتاري لتقييم التحكم في فضاءات الأفعال المنفصلة.

النتائج كانت واضحة: حقق CQL عوائد مُعيَّرة أعلى بمقدار 2 إلى 5 أضعاف مقارنة بالأساليب السابقة كـBCQ وBEAR والاستنساخ السلوكي. وكانت الفجوة أكبر ما يكون على مجموعات البيانات متوسطة الجودة والمختلطة — أي السيناريوهات التي يبلغ فيها الانزياح التوزيعي أشدّه وتتعثر فيها الأساليب الأخرى أكثر.

وفي ألعاب أتاري، تفوّق CQL على خوارزمية DQN المتصلة التي تدرّبت 200 مليون خطوة، مستخدماً 1% فقط من البيانات (مليونا انتقال). وهذا يُثبت أن التعلُّم المُحافِظ دون اتصال قادر على مضاهاة التعلُّم المتصل أو التفوّق عليه حين تكون البيانات المتاحة غنية بالمعلومات.

CQL لا يستبدل تعلُّم Q ولا الناقد-الممثل اللطيف — بل يبني فوقهما. العلاقة إضافية بالمعنى الحرفي: خُذ صيغة تعلُّم Q التي تعمل بها، أبقِ خسارة خطأ بلمان دون تعديل، وأضف حدّ تنظيم CQL.

من تعلُّم Q يرث CQL الآلية الجوهرية: تحسين دالة Q تكرارياً عبر معادلة بلمان مع شبكة هدف. عملية $\max$ على الأفعال التالية — وهي مصدر فرط التقدير في الوضع دون اتصال — تظلّ موجودة كما هي، لكن CQL يُقاومها بدلاً من إزالتها.

من SAC، يرث CQL(H) إطار أقصى إنتروبيا: حيث تسعى السياسة إلى تعظيم العائد المتوقع مصحوباً بمكافأة إنتروبيا تُشجّع الاستكشاف في الوضع المتصل. أما دون اتصال، فيتحوّل حدّ الإنتروبيا ليصبح جزءاً من حدّ تنظيم CQL ذاته — فحدّ $\log\sum\exp$ هو في جوهره الأقصى اللطيف من SAC، لكن أُعيد توظيفه هنا لمعاقبة الأفعال بدلاً من تشجيع تنوّعها.

هذا التصميم المُعياري (modular) هو ما جعل تبنّي CQL سريعاً: لم يحتج الباحثون لتعلُّم خوارزمية جديدة من الصفر. أضافوا حدّ عقوبة واحداً إلى الكود الذي يعملون به فعلاً.

قبل CQL، كان التعلُّم المعزَّز دون اتصال أقرب إلى فكرة أكاديمية منه إلى أداة عملية. الخوارزميات كانت تعمل على معايير بسيطة، لكنها تنهار أمام مجموعات بيانات واقعية بجودة متفاوتة وتغطية ناقصة للحالات وتنوّع في سياسات السلوك. غيّر CQL المشهد بتقديم حلّ مبدئي واضح — التقدير المُحافِظ — يتوسّع ليشمل مجالات معقدة.

في الروبوتات، أتاح CQL تعلُّم سياسات المناورة والحركة من بيانات غير متجانسة تمزج عروضاً بشرية بمتحكّمات مُبرمَجة واستكشاف عشوائي. وفي الرعاية الصحية، انسجم المبدأ المُحافِظ طبيعياً مع منطق الحذر الطبي: سياسة العلاج ينبغي ألّا تكون أكثر تفاؤلاً ممّا تُبرّره الأدلة السريرية.

أرسى CQL أيضاً نموذج التشاؤم في مواجهة عدم اليقين الذي بات يتخلّل أبحاث التعلُّم المعزَّز دون اتصال كلها. كل أسلوب رئيسي لاحق — IQL وTD3+BC ومحوِّل القرار — إما يبني مباشرة على أفكار CQL أو طُوِّر بديلاً لمقاربته. وبأكثر من 4000 استشهاد، تُمثّل هذه الورقة نقطة تحوّل حقيقية في المجال.