السَّمْت

Robotics & RL2018متقدم15 دقيقة قراءة

QT-Opt: تعلُّم تعزيزي عميق قابل للتوسيع للتحكّم الآلي بالرؤية الحاسوبية

QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation

Kalashnikov, D. · Irpan, A. · Pastor, P. · Ibarz, J. · Herzog, A. · Jang, E. · Quillen, D. · Holly, E. · Kalakrishnan, M. · Vanhoucke, V. · Levine, S. — CoRL

المشكلة

حتى عام 2018، كانت معظم أنظمة الإمساك الآلي تعمل بحلقة مفتوحة: انظر إلى المشهد، اختر نقطة إمساك، نفِّذ خطة حركة ثابتة، وادعُ أن تنجح. هذا الأسلوب ينهار حين تكون الأشياء غير مألوفة، أو حين تكون فيزياء التفاعل غير متوقعة، أو حين يحتاج الإمساك إلى تصحيح أثناء التنفيذ. التعلّم التعزيزي يمكن من حيث المبدأ أن يتعلّم استراتيجيات بحلقة مغلقة، لكن الخوارزميات المتاحة آنذاك إمّا تحتاج بيانات مُجمَّعة أثناء التنفيذ الفعلي (أمر غير عملي مع الروبوتات)، أو تستخدم بنية ممثّل-ناقد معروفة بعدم استقرارها. لم يكن هناك نظام نجح في توسيع نطاق التعلّم التعزيزي العميق ليشمل مئات الآلاف من محاولات الإمساك الحقيقية مع القدرة على التعميم لأشياء جديدة.

الإسهام

قدّم QT-Opt إطاراً قابلاً للتوسيع للتعلّم التعزيزي العميق خارج ، يُدرِّب دالة Q على 580 ألف محاولة إمساك حقيقية من 7 روبوتات. بدلاً من تدريب شبكة سياسة (ممثّل) منفصلة، يستخدم QT-Opt (CEM) لتعظيم دالة Q مباشرةً عند الاستدلال، مما يتجنّب عدم استقرار أساليب الممثّل-الناقد. ومع الجمع بين وشبكات الهدف بمتوسط بولياك وبنية تدريب موزَّعة غير متزامنة تضم 1000 وظيفة تحديث بيلمان، حقّق النظام معدّل نجاح 96% في الإمساك بأشياء لم يرها من قبل باستخدام كاميرا RGB أحادية فقط — مع اكتشافه تلقائياً لسلوكيات ذكية كإعادة الإمساك وفصل الأشياء والتصحيح التفاعلي.

الأثر

أثبت QT-Opt أن التعلّم التعزيزي العميق قادر على العمل بنطاق واسع على روبوتات حقيقية في مهام واقعية، وليس فقط في المحاكاة أو المسائل البسيطة. بيّن أن تعلُّم Q خارج السياسة مع أمثَلة CEM بديل عملي وأكثر استقراراً من أساليب الممثّل-الناقد في التحكّم المستمر. والبنية التحتية الموزَّعة للتدريب التي قدّمها أصبحت نموذجاً يُحتذى لتعلّم الروبوتات على نطاق واسع في Google. أثّر نهج QT-Opt في الحلقة المغلقة تأثيراً مباشراً على RT-1 وعلى المنظومة الأوسع لنماذج الأساس الروبوتية. ولا يزال من أقوى البراهين على أن الروبوتات المدرَّبة بالتعلّم التعزيزي قادرة على التعميم لأشياء جديدة مع استراتيجيات تلاعب تكيُّفية تنشأ تلقائياً.

فكّر في تعلُّم التقاط كرة مُلقاة نحوك. لن تُحدّد موضع يدك مسبقاً ثم تُغمض عينيك وتأمل الأفضل — بل ستُبقي نظرك على الكرة وتُعدّل يدك لحظةً بلحظة حتى تلتقطها. تخيّل الآن أنّ عليك تعلّم هذه المهارة بالتجربة والخطأ، لكن لديك سبع نسخ من نفسك تتدرّب في آنٍ واحد وتصبّ كل خبراتها في ذاكرة مشتركة واحدة.

هذا بالضبط ما يفعله QT-Opt: سبعة روبوتات تتمرّن على الإمساك بالأشياء على مدار الساعة، وتُغذّي 580 ألف محاولة حقيقية في واحدة تتعلّم أيّ الحركات تستحق المحاولة في أيّ مشهد بصري. الروبوت لا يُخطّط للإمساك ثم يُنفّذ وعيناه مغمضتان، بل يُبقي عينيه مفتوحتين ويُعدّل قبضته إطاراً بإطار — وهذه استراتيجية تنبثق بالكامل من البيانات دون أن يُبرمجها أحد.

المشكلة: الإمساك بحلقة مفتوحة أعمى

الإمساك الآلي التقليدي يعمل كوصفة من ثلاث خطوات: أولاً ينظر الروبوت إلى المشهد بكاميرا عمق، ثم يحسب أفضل وضعية إمساك، ثم يُنفّذ خطة حركة ثابتة للوصول إلى تلك الوضعية. هذا هو — بمجرد أن تبدأ الحركة، لا يعود الروبوت ينظر إلى المشهد مرة أخرى.

المشكلة بديهية: إذا تحرّك الجسم ولو قليلاً، أو اختلفت الفيزياء عمّا توقّعته الخوارزمية، أو كان الإدراك الأوّلي غير دقيق، فإنّ الإمساك يفشل ولا مجال لتصحيح المسار. لا يستطيع الروبوت دفع جسمٍ ليُعيد وضعه، ولا أن يكتشف أنّ قبضته غير مستقرة فيحاول مجدداً، ولا أن يتكيّف مع أي مفاجأة. الأمر أشبه بمحاولة التقاط كرة بعد أن ألقيت عليها نظرة واحدة ثم أغمضت عينيك.

ما نحتاجه فعلاً هو التحكّم بالحلقة المغلقة: الروبوت يُراقب ثم يتصرّف، ثم يُراقب مجدداً ويُعدّل، ويستمر في هذا التبادل المُحكَم بين الاستشعار والتحكّم في كل خطوة زمنية. هكذا يُمسك الإنسان بالأشياء — عملية ديناميكية تفاعلية وليست خطة جامدة تُنفَّذ مرة واحدة.

افتح في المختبر
قارن بين الإمساك بالحلقة المفتوحة (خطّط مرة واحدة ونفّذ بلا نظر) ونهج QT-Opt بالحلقة المغلقة (راقب وعدّل في كل خطوة).
تستيقظ التجربة عند وصولك…

فكرة QT-Opt: تعلُّم Q بدون شبكة ممثّل

في للتحكّم المستمر، الأسلوب الشائع هو : ندرّب دالة قيمة الفعل (الناقد) لتُقدّر جودة كل زوج حالة-فعل، وندرّب بجانبها منفصلة (الممثّل) تقترح الأفعال التي تُعظّم تلك الدالة. المشكلة أنّ تدريب شبكتين إحداهما في مواجهة الأخرى معروف بعدم الاستقرار — الممثّل يلاحق هدفاً يتغيّر باستمرار، والناقد يُقيّم سياسة لا تثبت على حال.

QT-Opt يتّخذ نهجاً أبسط بكثير: ندرّب دالة Q وحدها، ونستغني عن الممثّل تماماً. حين يحتاج الروبوت لاختيار فعل، لا يسأل سياسة مُتعلَّمة. بدلاً من ذلك، يُشغّل طريقة الإنتروبيا المتقاطعة — وهي مُحسِّن عشوائي لا يحتاج مشتقات — مباشرةً على دالة Q ليجد الفعل الذي يُعطي أعلى قيمة.

تخيّل الأمر هكذا: دالة Q تُشبه تضاريس فيها جبال ووديان فوق المُمكنة. أسلوب الممثّل-الناقد يُدرّب دليلاً يسير نحو القمم. أمّا CEM فتُلقي سحابة من المُتسلّقين العشوائيين على تلك التضاريس، تنظر أيّهم وصل أعلى، ترسم دائرة أضيق حول الفائزين، ثم تُكرّر — فتصل إلى القمة في جولتين فقط، بلا حاجة إلى دليل.

افتح في المختبر
شاهد CEM وهو يتقارب: تُسحب عيّنات أفعال عشوائية، تُنتقى الأفضل، يُلاءَم توزيع غاوسي جديد عليها، ثم تتكرّر العملية حتى نصل إلى الفعل الأمثل.
تستيقظ التجربة عند وصولك…

لماذا ينجح هذا النهج؟ السبب أنّ طريقة الإنتروبيا المتقاطعة لا تحتاج مشتقات، فلا يلزم أن تكون دالة Q قابلة للاشتقاق أو محدّبة بالنسبة للفعل. هذا جوهري في مهام الإمساك لأنّ سطح Q وَعِرٌ للغاية: القيمة مرتفعة للأفعال التي تتّجه نحو الأجسام لكنها تنخفض فجأة في الفراغات بينها. شبكة ممثّل تحاول تعلّم هذا السطح المُتعرّج ستواجه صعوبات جمّة، لكنّ CEM تكتفي بتوليد عيّنات وانتقاء الأفضل — فتتعامل بطبيعتها مع وجود قمم متعددة.

الثمن هنا حسابي: CEM تحتاج تقييم دالة Q عدد 64 مرة في كل جولة (64 عيّنة، 6 منها نُخبة، على جولتين). لكنّ هذا رخيص على العتاد الحديث ويقبل التوازي بسهولة — وهذا سبب رئيسي في قابلية QT-Opt للتوسّع.

تدريب دالة Q: أهداف بيلمان وحيل الاستقرار

تُدرَّب دالة Q بتقليل ما يُسمّى خطأ بيلمان: وهو الفجوة بين ما تتنبّأ به الشبكة حالياً لقيمة Q، وبين قيمة مرجعية محسوبة من الفعلية مُضافاً إليها القيمة المخصومة لأفضل فعل في الحالة التالية. الفكرة بسيطة: نقول للشبكة «تقديرك لجودة هذا الفعل يجب أن يُساوي المكافأة التي حصلت عليها فعلاً، زائد جودة أفضل فعل ستتّخذه لاحقاً.»

ثلاثة قرارات تصميمية تُبقي التدريب مستقراً على هذا النطاق الضخم. أولاً، يستخدم QT-Opt بدلاً من الخطأ المربّع في تحديث بيلمان. بما أنّ المكافآت محصورة في المجال [0, 1]، يمكن معاملة قيمة Q كأنها احتمال، والإنتروبيا المتقاطعة تمنح تدرّجات أقوى حين تكون Q قريبة من الحدود. ثانياً، تعلُّم Q المزدوج المقصوص يستخدم شبكتَي هدف ويأخذ الأدنى من قيمتيهما، ممّا يكبح ميل تعلّم Q العادي إلى المبالغة في التقدير. ثالثاً، متوسط بولياك يُدمج الشبكة الحالية في بسلاسة تدريجية (بمعامل 0.9999)، فلا يتغيّر الهدف بشكل مفاجئ بين خطوة وأخرى.

E(θ)=E(s,a,s′)∼p[D ⁣(Qθ(s,a),  r(s,a)+γ V(s′))]\mathcal{E}(\theta) = \mathbb{E}_{(\mathbf{s}, \mathbf{a}, \mathbf{s}') \sim p} \left[ D\!\left( Q_{\theta}(\mathbf{s}, \mathbf{a}),\; r(\mathbf{s}, \mathbf{a}) + \gamma \, V(\mathbf{s}') \right) \right]
هدف خطأ بيلمان — تُحدَّث معاملات شبكة Q (وهي θ) لتقليل الانحراف D (الإنتروبيا المتقاطعة) بين قيمة Q المُتنبَّأ بها وقيمة الهدف (المكافأة + القيمة المستقبلية المخصومة). تُسحب الانتقالات (s, a, s') من مخزن الإعادة.
V(s′)=min⁡i=1,2  Qθˉi ⁣(s′,  arg⁡max⁡a′Qθˉ1(s′,a′))V(\mathbf{s}') = \min_{i=1,2}\; Q_{\bar{\theta}_i}\!\left(\mathbf{s}',\; \arg\max_{\mathbf{a}'} Q_{\bar{\theta}_1}(\mathbf{s}', \mathbf{a}')\right)
هدف تعلُّم Q المزدوج المقصوص — قيمة الهدف V(s') تستخدم تعلُّم Q المزدوج مع القصّ. يُختار أفضل فعل بواسطة شبكة الهدف الأولى، لكن القيمة تُؤخذ كأدنى قيمة من الشبكتين. هذا يكبح انحياز المبالغة في التقدير.

عملية ماركوف للإمساك: ماذا يرى الروبوت ويفعل ويحسّن

يصوغ QT-Opt مهمة الإمساك على شكل : في كل خطوة زمنية يُراقب الروبوت محيطه، يختار فعلاً، ويسعى لتعظيم المكافأة التراكمية على مدى الحلقة.

الحالة: الروبوت يرى صورة RGB بأبعاد 472×472 من كاميرا مثبّتة فوق كتفه — لا مُستشعر عمق ولا كاميرا على المعصم. تُضاف إلى الصورة معلومتان حسّيتان ذاتيتان: هل القابض مفتوح أم مغلق الآن، وكم يبعد القابض عن قاع الصندوق. هذان الرقمان يرفعان أداء التعلّم بشكل ملحوظ لأنهما يُوفّران معلومات يصعب على الكاميرا وحدها استنتاجها.

الفعل: متّجه من 8 أبعاد يتحكّم في . يتضمّن إزاحة ديكارتية ثلاثية الأبعاد تُحدّد مقدار الحركة، ودوراناً سمتياً مُرمَّزاً بالجيب وجيب التمام، وأمراً ثنائياً لفتح القابض أو إغلاقه، وإشارة إنهاء تختم الحلقة. النقطة المهمة أنّ الروبوت يتعلّم أيضاً متى يتوقّف — عليه أن يُقرّر بنفسه أنّ المهمة انتهت بدلاً من الاعتماد على قاعدة توقّف مكتوبة يدوياً.

المكافأة: إشارة ثنائية — 1 إذا كان الروبوت يُمسك بجسم فوق ارتفاع مُعيَّن عند نهاية الحلقة، و0 فيما عدا ذلك. يُكشف النجاح عبر طرح الخلفية (مقارنة صورة قبل الإسقاط بصورة بعده). وهناك عقوبة صغيرة بمقدار −0.05 لكل خطوة زمنية لتشجيع الروبوت على الإمساك بسرعة. هذه المتأخرة صعبة على التعلّم التعزيزي، لكنها أنسب إشارة عملية حين يكون جمع البيانات ذاتياً بالكامل.

افتح في المختبر
استكشف عملية ماركوف للإمساك: انقر على كل مكوّن لترى ماذا يُراقب الروبوت، وما الأفعال المتاحة، وكيف تُحسب المكافأة.
تستيقظ التجربة عند وصولك…

بنية شبكة Q: دمج الرؤية والفعل

دالة Q هنا ضخمة تضمّ 1.2 مليون معامل، وتتميّز ببنية «فصل ودمج». صورة RGB بأبعاد 472×472 تدخل مساراً من 7 طبقات التفافية تستخلص السمات البصرية. في مسار موازٍ، يمرّ متّجه الفعل والمعلومات الحسّية الذاتية (حالة القابض وارتفاعه) عبر طبقات كاملة الترابط.

القرار التصميمي الأهم: سمات الفعل والحالة لا تُلحق بالسمات البصرية ربطاً عادياً، بل تُبلَّط على كامل الأبعاد المكانية لخريطة السمات الالتفافية ثم تُجمع عنصراً بعنصر. هذا يعني أنّ معلومات الفعل تُبَثّ إلى كل موقع مكاني، فتستطيع الشبكة تقييم «ماذا لو اتّخذتُ هذا الفعل هنا؟» في كل نقطة من المشهد البصري في آنٍ واحد. بعد الدمج، تُعالج 9 طبقات التفافية إضافية التمثيل المُوحَّد، ثم طبقات كاملة الترابط ومخرج يحصر قيم Q في المجال [0, 1].

كل طبقة تستخدم ودالة تنشيط . ويُدرَّب النموذج بـ مع ( 0.0001، زخم 0.9) و بقيمة 7e-5.

التدريب الموزَّع: التوسيع إلى 580 ألف إمساكة حقيقية

التدريب على 580 ألف محاولة إمساك حقيقية يتطلّب بنية تحتية لا تقدر عليها آلة واحدة. النظام الموزَّع في QT-Opt يتألّف من أربعة مكوّنات تعمل بالتوازي بشكل غير متزامن.

: قاعدة بيانات موزّعة على 6 خوادم تُخزّن 300 ألف انتقال إجمالاً. تأتي الخبرات من مصدرين: سجلات تاريخية مُخزّنة على القرص، وبيانات حيّة تتدفّق من الروبوتات أثناء عملها. أكثر من 100 مهمة إعادة تشغيل تُنعش المخزن باستمرار كي لا تترابط الحلقات المتتالية وتُفسد التدريب.

مُحدِّثات بيلمان: 1000 وحدة معالجة مركزية تسحب انتقالات من مخزن الإعادة، وتحسب قيم Q المرجعية باستخدام طريقة CEM مع شبكة الهدف الحالية، ثم تدفع أمثلة تدريبية مُعنوَنة إلى مخزن تدريب منفصل. ولأنّ كل مُحدِّث يحمّل شبكة الهدف في وقت مختلف قليلاً، تأتي الأهداف عملياً من مجموعة ضمنية من نسخ حديثة — وهذا يُساعد على استقرار التدريب بتقليل التباين.

عمّال التدريب: 10 وحدات معالجة رسومية تسحب الأمثلة المُعنوَنة من مخزن التدريب، وتحسب التدرّجات، وترسلها بشكل غير متزامن إلى خوادم المعاملات. يُحقّق النظام 40 خطوة تدرّج في الثانية بحجم دُفعة 32 عبر وحدات المعالجة الرسومية.

روبوتات الجمع: 7 أذرع KUKA IIWA تُنفّذ السياسة الحالية (تُحدَّث كل 10 دقائق)، وتجمع بيانات جديدة، وتدفعها إلى مخزن الإعادة. تُستبدل الأشياء في الصناديق كل 4 ساعات خلال الدوام، وتُترك الأذرع تعمل دون رقابة ليلاً وفي عطل نهاية الأسبوع.

افتح في المختبر
خط أنابيب التدريب الموزَّع في QT-Opt. تتدفق البيانات من الروبوتات والسجلات إلى مخزن الإعادة، ثم عبر مُحدِّثات بيلمان، وصولاً إلى عمّال التدريب على وحدات المعالجة الرسومية.
تستيقظ التجربة عند وصولك…

جمع البيانات: من الاستكشاف المبرمَج إلى الضبط أثناء التنفيذ

سياسة عشوائية تماماً في فضاء أفعال QT-Opt لن تُمسك بشيء تقريباً — فالمهمة متعددة الخطوات والمكافأة متفرّقة. لذلك يمرّ جمع البيانات بمرحلتين.

المرحلة الأولى — تمهيد مبرمَج: سياسة بسيطة مكتوبة يدوياً تختار إحداثيات (x, y) عشوائية، تُنزل القابض المفتوح إلى مستوى الطاولة، تُغلقه، ثم ترفعه. هذه السياسة تنجح بنسبة 15–30% — أداء ضعيف بكل المقاييس، لكنه يكفي لتوليد إشارة تدريبية مفيدة يتعلّم منها النظام. تُجمع هذه البيانات وتُخزَّن للتدريب لاحقاً.

المرحلة الثانية — مُتعلَّم: حين يصل QT-Opt إلى نحو 50% نجاح، ينتقل جمع البيانات إلى السياسة المُتعلَّمة مع استكشاف بنسبة 20%. أي أنّ الروبوت يختار فعلاً عشوائياً 20% من الوقت، وفي الـ 80% المتبقية يختار الفعل الذي يُعظّم دالة Q. تُمزج هذه البيانات الجديدة مع البيانات التاريخية أثناء التدريب.

جُمعت كامل البيانات على مدى 4 أشهر بإجمالي نحو 800 ساعة روبوت. النموذج المُدرَّب على البيانات خارج السياسة وحدها يحقّق 87% نجاح، وبعد الضبط المشترك بإضافة 28 ألف محاولة جديدة يصل إلى 96%. البيانات الجديدة تعمل كعملية «تعدين أخطاء صعبة» — تُتيح للسياسة أن تواجه أخطاءها بنفسها وتتعلّم تصحيحها.

النتائج: 96% نجاح واستراتيجيات مُنبثقة

قُيّم QT-Opt على أشياء لم يرها قطّ أثناء التدريب، عبر بروتوكولين. في الأول، حاول كلٌّ من 7 روبوتات تنفيذ 102 إمساكة مع إعادة وضع الأشياء — فحقّق 96% نجاح بعد الضبط بالبيانات الحية (و87% بالتدريب خارج السياسة وحده). في البروتوكول الثاني «إفراغ الصندوق»، حاول روبوت واحد إخلاء 28 جسماً في 30 محاولة، فحقّق 88% على أول 10 أجسام و76% على المجموع (الأجسام الأخيرة صغيرة جداً وكثيراً ما تعلق في الزوايا).

المرجع المقارَن هو طريقة Levine وآخرون (2016) التي استخدمت 900 ألف إمساكة لكن بتحكّم حلقة مفتوحة. حقّقت تلك الطريقة 78% فقط على الاختبار نفسه — أي أنّ معدّل فشلها أعلى بأربع مرات من QT-Opt رغم استخدامها بيانات أكثر.

لكنّ النتيجة الأكثر لفتاً للنظر ليست نسبة النجاح بل الكيفية. لأنّ السياسة تُحسّن للنجاح على المدى الطويل مع تحكّم بالحلقة المغلقة، فإنها تكتشف تلقائياً استراتيجيات تلاعب متقدمة لم يُبرمجها أحد.

افتح في المختبر
أربع استراتيجيات منبثقة اكتشفها QT-Opt: فصل الأشياء، وإعادة الإمساك، والتعافي من الاضطراب، والتعامل مع المشاهد المزدحمة.
تستيقظ التجربة عند وصولك…

فصل الأشياء: حين تكون الأجسام متشابكة أو مكدّسة بإحكام، تبدأ السياسة بدفعها وإعادة ترتيبها لعزل جسم واحد قبل محاولة الإمساك به. في تجربة أحجية ألعاب يجب تفكيكها قبل أن تتّسع لأي قطعة في القابض، نجح QT-Opt بنسبة 79% مقابل 54% للمرجع.

إعادة الإمساك: تكتشف السياسة العلامات المبكّرة لقبضة غير مستقرة فتفتح القابض وتُعيد المحاولة بإحكام أفضل. كل محاولة ليست خطوة نهائية بل حلقة ضمن استراتيجية متعددة الخطوات.

التعافي الديناميكي: إذا تدحرجت كرة من القابض أو دفع شخصٌ الجسم بعيداً أثناء الإمساك، تُعدّل السياسة مسارها لحظياً. في تحدّي كرة التنس — حيث أُبعدت الكرة عمداً — نجح QT-Opt بنسبة 74% مقابل 16% للمرجع.

الإنهاء المُتعلَّم: بدلاً من قاعدة توقّف مكتوبة يدوياً، تتعلّم السياسة أن تتعرّف على القبضة المستقرة وتُرسل إشارة الإنهاء بنفسها — وتحقّق بذلك نتائج أفضل حتى من شرط الإنهاء المبرمَج (96% مقابل 95%).

ما الذي يُحدث فرقاً: رؤى من دراسات الحذف

أجرى المؤلفون مُكثّفة في المحاكاة والعالم الحقيقي معاً. أبرز ما توصّلوا إليه:

تمثيل الحالة: إضافة حالة القابض وارتفاعه إلى الصورة رفعت الأداء خارج السياسة من 53% إلى 70%. الصورة وحدها تستطيع نظرياً توفير كل المعلومات، لكنّ تزويد الشبكة بسمات واضحة ومنخفضة الأبعاد يُسرّع التعلّم بشكل كبير.

مقابل : عقوبة −0.05 لكل خطوة مع γ=0.9 حقّقت 63% (على الصورة فقط)، بينما تخفيض γ إلى 0.7 بدون عقوبة أعطى 28% فقط. الدرس: الأفضل أن نُعاقب الإمساك البطيء صراحةً بدلاً من جعل الوكيل قصير النظر عبر خصم عالٍ.

تعلُّم Q المزدوج المقصوص: الانتقال من تعلُّم Q المزدوج العادي إلى النسخة المقصوصة رفع النجاح في العالم الحقيقي من 63% إلى 81%. المكسب كان أوضح مع البيانات خارج السياسة منه في المحاكاة، مما يُشير إلى أنّ انحياز المبالغة في التقدير يكون أشدّ ضرراً حين يختلف توزيع البيانات عن السياسة الحالية.

كفاءة البيانات: طابق QT-Opt نتيجة المرجع البالغة 78% باستخدام 320 ألف إمساكة فقط (مقابل 900 ألف للمرجع). السبب أنّ هدف التعلّم التعزيزي يُركّز الجهد على نقاط القرار المحورية — خاصة متى يُغلَق القابض — بدلاً من معاملة كل نقطة بيانات بالتساوي.

اختيار الفعل بطريقة CEM في QT-Optpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np
def cem_action_select(q_fn, state, n_samples=64, n_elite=6, n_iters=2, action_dim=8):
    """طريقة الإنتروبيا المتقاطعة لتعظيم Q(s, a) على الأفعال."""
    # تهيئة توزيع غاوسي فوق فضاء الأفعال
    mu = np.zeros(action_dim)
    sigma = np.ones(action_dim)

    for iteration in range(n_iters):
        # سحب N فعل مرشّح من الغاوسي الحالي
        actions = np.random.normal(mu, sigma, size=(n_samples, action_dim))

        # حساب قيمة Q لكل مرشّح
        q_values = np.array([q_fn(state, a) for a in actions])

        # اختيار أفضل M فعل (النُّخبة)
        elite_idx = np.argsort(q_values)[-n_elite:]
        elite_actions = actions[elite_idx]

        # إعادة ملاءمة الغاوسي على النُّخبة
        mu = elite_actions.mean(axis=0)
        sigma = elite_actions.std(axis=0)

    return mu  # أفضل تقدير للفعل

الخط الزمني: من QT-Opt إلى نماذج الأساس الروبوتية

  1. 2015

    DQN (منيه وآخرون)

    شبكة Q العميقة تتقن ألعاب Atari من البكسلات الخام، مثبتةً أن التعلّم التعزيزي العميق قادر على التعلّم من ملاحظات عالية الأبعاد. لكن فضاءات الأفعال منفصلة وصغيرة.

  2. 2016

    Levine وآخرون — إمساك على نطاق واسع

    إمساك ذاتي الإشراف بـ 800 ألف محاولة حقيقية. حقّق نحو 65% نجاح لكن بتحكّم حلقة مفتوحة وبدون استدلال على المدى الطويل.

  3. 2018

    QT-Opt

    إمساك بصري بحلقة مغلقة عبر تعلُّم Q خارج السياسة مع CEM. نجاح 96% على أشياء غير مرئية من 580 ألف إمساكة حقيقية. سلوكيات منبثقة كإعادة الإمساك والفصل.

  4. 2022

    RT-1 (بروهان وآخرون)

    محوِّل الروبوتات 1 — يوسّع نهج الحلقة المغلقة المبني على البيانات إلى 130 ألف عرض توضيحي وأكثر من 700 مهمة. سليل مباشر لبنية QT-Opt وفلسفته.

المرجعKalashnikov, Irpan, Pastor, Ibarz, Herzog, Jang, Quillen, Holly, Kalakrishnan, Vanhoucke, Levine. QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation. CoRL, 2018.

مصطلحات هذه الورقة