سياسة الانتشار: تعلُّم السياسات البصرية-الحركية بانتشار الأفعال

للوهلة الأولى يبدو تعليم روبوت من عروض بشرية مسألة تعلّم بإشراف تقليدية: راقب ما يفعله الإنسان ثم تعلّم الربط بين المُشاهدات والأفعال. لكن في الواقع، ثلاث خصائص تجعل هذه المسألة أصعب بكثير من الانحدار المعتاد.

أولاً، العروض البشرية متعددة الأنماط. خذ مثالاً بسيطاً: مكعب أمام ذراع الروبوت. يمكنك دفعه يساراً أو يميناً أو الالتفاف حوله، وكل هذه الخيارات صحيحة بالقدر نفسه. لو حاولت السياسة حساب متوسط هذه الأنماط، ستُنتج فعلاً يتجه مباشرة نحو المكعب — حركة لا تنتمي إلى أيّ استراتيجية فعلية.

ثانياً، أفعال الروبوت متسلسلة ومترابطة. الفعل الواحد بمعزل عن سياقه لا يعني شيئاً؛ ما يهمّ هو المسار المتماسك بأكمله. حين تتنبأ بخطوة واحدة في كل مرة، تفتح الباب للارتعاش — إذ قد تتنقّل السياسة بين استراتيجيتين مختلفتين في خطوات متتالية فتنتج حركة مضطربة.

ثالثاً، فضاء الأفعال قد يكون عالي الأبعاد. روبوت ثنائي الذراعين مزوّد بقابضين يملك 14 درجة حرية أو أكثر في كل خطوة زمنية، والتنبؤ بسلسلة من هذه الأفعال يُضاعف البُعدية بشكل كبير.

نماذج الانتشار ظهرت في الأصل لتوليد الصور. الفكرة المحورية في هذه الورقة هي أن الآلية ذاتها — ابدأ بضجيج وأزله تدريجياً — تصلح بشكل ممتاز لتوليد أفعال الروبوت أيضاً.

في انتشار الصور (DDPM)، تتعلّم شبكة عصبية التنبؤ بالضجيج الذي أُضيف إلى صورة، ثم تُزيله خطوة بخطوة. سياسة الانتشار تنقل هذا المبدأ إلى فضاء الأفعال: يبدأ النموذج بسلسلة أفعال عشوائية مسحوبة من توزيع غاوسي، ثم يُنقّحها عبر $K$ خطوة إزالة ضجيج مشروطة بما يراه الروبوت حالياً.

شبكة التنبؤ بالضجيج $\epsilon_\theta$ تستقبل ثلاثة مدخلات: سلسلة الأفعال المشوّشة $\mathbf{A}_t^k$، والمُشاهدة $\mathbf{O}_t$، ورقم خطوة إزالة الضجيج $k$. مهمتها تقدير مقدار الضجيج الموجود. بطرح هذا التقدير نحصل على سلسلة أفعال أنظف، وبتكرار العملية $K$ مرة نصل إلى مسار الأفعال النهائي النظيف $\mathbf{A}_t^0$.

تسير كل خطوة إزالة ضجيج وفق قاعدة التحديث التالية:

ما يميّز تدريب سياسة الانتشار هو بساطته الأنيقة. الفكرة كالتالي: نأخذ من بيانات العروض سلسلة أفعال نظيفة $\mathbf{A}_t^0$، ونُضيف إليها ضجيجاً بمستوى $k$ يُختار عشوائياً فنحصل على نسخة مشوّشة، ثم نطلب من الشبكة أن تتنبأ بالضجيج الذي أُضيف. دالة الخسارة هنا هي ببساطة متوسط مربع الخطأ:

ثلاثة قرارات تصميمية هي التي تُطلق الإمكانات الكاملة للانتشار في التحكم الروبوتي: كيف نشترط بالمعلومات البصرية، وكيف ننفّذ سلسلة الأفعال المتوقَّعة، وأي هيكل أساسي نختار لشبكة إزالة الضجيج.

الاشتراط البصري. الطريقة البديهية هي نمذجة التوزيع المشترك بين المُشاهدات والأفعال $p(\mathbf{A}_t, \mathbf{O}_t)$ وإزالة الضجيج من كليهما معاً. سياسة الانتشار تختار مساراً أذكى: تشترط بالمُشاهدات فقط وتُنمذج $p(\mathbf{A}_t | \mathbf{O}_t)$. الفائدة العملية كبيرة: المُرمِّز البصري يعمل مرة واحدة لكل دورة استدلال، لا مرة لكل خطوة إزالة ضجيج — وهذا تسريع هائل يجعل التحكم اللحظي ممكناً. تُحقن السمات البصرية المستخرجة في شبكة إزالة الضجيج عبر اشتراط FiLM (في الهيكل الالتفافي) أو الانتباه التقاطعي (في هيكل المُحوِّل).

الهيكل الالتفافي مقابل المُحوِّل. الهيكل الالتفافي (شبكة التفاف زمنية أحادية البُعد) يعمل بشكل جيد فوراً في معظم المهام، لكنّ ميله الطبيعي نحو الإشارات الناعمة قد يُبالغ في تنعيم الأفعال التي تحتاج تغيّراً مفاجئاً. محوِّل الانتشار يتعامل مع التغيّرات الحادة بكفاءة أعلى، إلا أنه يحتاج ضبطاً أدق. التوصية العملية: ابدأ بالهيكل الالتفافي، وانتقل إلى المُحوِّل إذا لاحظت تراجعاً في المهام ذات التغيّر العالي التردد.

المُرمِّز البصري. تستخدم الورقة ResNet-18 مع تجميع softmax مكاني للحفاظ على المعلومات المكانية، وتطبيع المجموعات بدلاً من تطبيع الدفعات لأن الأخير لا يتوافق مع المتوسط المتحرك الأسّي المستخدم في تدريب DDPM. كل منظور كاميرا يُرمَّز بشكل مستقل، ويُدرَّب المُرمِّز من طرف إلى طرف مع سياسة الانتشار.

من أكثر قرارات التصميم تأثيراً على الأداء هو ما يحدث بعد أن تُولّد السياسة سلسلة الأفعال. السياسة تتنبأ بـ$T_p$ خطوة مستقبلية لكنها لا تُنفّذ منها إلا أول $T_a$ خطوة فقط، ثم تُعيد المراقبة وتُعيد التخطيط من جديد. هذا هو مبدأ الأفق المتراجع، وهو مبدأ مستعار من التحكم في حلقة مغلقة.

تشبيه مفيد: فكّر في قيادة السيارة. أنت تنظر بعيداً في الطريق لتخطّط اتجاه المقود (أفق التنبؤ $T_p$)، لكنك لا تلتزم إلا بالثواني القليلة التالية من الحركة الفعلية (أفق التنفيذ $T_a$) قبل أن تنظر مجدداً. هذا يحقق هدفين: أفق التنبؤ الطويل يضمن الاتساق الزمني ونعومة المسارات، بينما أفق التنفيذ القصير يُبقي السياسة قادرة على الاستجابة لأي تغيّر.

أما أفق المُشاهدة $T_o$ فهو يحدد عدد الإطارات الماضية التي تراها السياسة. في العادة يكفي $T_o = 2$ (الإطار الحالي والسابق)، لأن هذا يعطي السياسة معلومات ضمنية عن السرعة دون أي عبء حسابي إضافي.

تكتسب سياسة الانتشار من إطار الانتشار عدة خصائص قوية، كل واحدة منها تعالج نقطة ضعف معروفة في الأساليب السابقة لتعلّم الروبوتات.

توزيعات أفعال متعددة الأنماط. ينبثق تعدد الأنماط هنا بشكل طبيعي من مصدرين: الضجيج الأولي العشوائي $\mathbf{A}_t^K \sim \mathcal{N}(0, I)$ الذي يحدّد أي نمط سيتقارب نحوه المسار، والضجيج المُضاف في كل خطوة إزالة ضجيج الذي يسمح بالتنقل بين الأنماط. الفرق الجوهري عن نموذج مزيج الغاوسيات هو أنك لا تحتاج لتحديد عدد الأنماط مسبقاً — سياسات الانتشار تُعبّر عن توزيعات حرة الشكل، بما فيها تلك التي تظهر فيها أنماط وتختفي بحسب المُشاهدة.

التآزر مع التحكم بالموضع. معظم طرق الاستنساخ السلوكي تلجأ إلى التحكم بالسرعة لأن التحكم بالموضع يُضخّم مشكلة تعدد الأنماط (في كل خطوة يوجد عدة مواضع صحيحة). لكن سياسة الانتشار تتعامل مع هذا التعدد بطبيعتها، فتستثمر الميزة الرئيسية للتحكم بالموضع: خطأ تراكمي أقل. والنتيجة أنها تتفوق باستمرار على البنية نفسها حين تستخدم التحكم بالسرعة.

استقرار التدريب. السياسات القائمة على الطاقة (IBC) تستعمل خسارة InfoNCE مع عيّنات سلبية لتقدير ثابت التطبيع، وهذا التقدير مُشوَّش بطبيعته مما يُسبّب قفزات في منحنى التدريب ويُصعّب اختيار نقطة التوقف المثلى. سياسة الانتشار تتجاوز كل ذلك بتعلّم دالة النقاط (تدرّج لوغاريتم الاحتمال) المستقلة عن ثابت التطبيع. المحصّلة: منحنيات تدريب سلسة واختيار موثوق لنقاط التوقف.

اختُبرت سياسة الانتشار على 15 مهمة من 4 معايير مرجعية: RoboMimic (الرفع، العلبة، المربع، النقل، تعليق الأداة)، وPush-T، ودفع المكعبات، ومطبخ Franka. هذه المهام تغطي طيفاً واسعاً: روبوتات بذراع واحدة وأخرى ثنائية الذراعين، وفضاءات أفعال تتراوح من درجتي حرية إلى 14، وأجسام صلبة وسائلة، وبيانات من مُشغّل بشري واحد أو عدة مُشغّلين.

النتائج كانت لافتة. تفوّقت سياسة الانتشار على أحدث الأساليب — LSTM-GMM (BC-RNN) وIBC وBET — في كل صيغة مهمة، بمتوسط تحسّن في معدل النجاح بلغ 46.9%. أبرز المكاسب ظهرت في المهام التي تحتاج دقة عالية (تعليق الأداة: من 67% إلى 100%)، والمهام متعددة المراحل (المطبخ p4: من 44% إلى 99%)، والسلوكيات متعددة الأنماط (دفع المكعبات p2: من 71% إلى 94%).

أما في مهام العالم الحقيقي — Push-T بذراع UR5، سكب الصلصة ونثرها بروبوت Franka، قلب الكوب، وثلاث مهام ثنائية الذراعين (خفّاقة البيض، فرد السجادة، طيّ القميص) — فقد حققت سياسة الانتشار أداءً متيناً بعدد عروض يتراوح بين 90 و250 فقط، مع سرعة استدلال تبلغ 10 هرتز باستخدام DDIM بـ10 خطوات إزالة ضجيج.

تقدّم الورقة فحص سلامة مُطمئناً: في أبسط حالة ممكنة — نظام ديناميكي خطي يُتحكَّم فيه بسياسة تغذية راجعة خطية $\mathbf{a}_t = -\mathbf{K}\mathbf{s}_t$ — تتقارب سياسة الانتشار نحو المتحكّم الصحيح تماماً. مُزيل الضجيج الأمثل في هذه الحالة يأخذ الشكل $\epsilon_\theta(\mathbf{s}, \mathbf{a}, k) = \frac{1}{\sigma_k}[\mathbf{a} + \mathbf{K}\mathbf{s}]$، وأخذ العيّنات بطريقة DDIM يتقارب نحو $\mathbf{a} = -\mathbf{K}\mathbf{s}$. وحين نتنبأ بـمسار كامل ($T_p > 1$)، يتعلّم مُزيل الضجيج ضمنياً نموذج ديناميكا النظام ليتمكّن من التنبؤ بالأفعال المستقبلية.

الدلالة المهمة هنا أنه لكي تنجح سياسة الانتشار في استنساخ سلوك يعتمد على حالة النظام، فإنها مُضطرة لتعلّم نموذج ديناميكا خاص بالمهمة بشكل ضمني — وهذه خاصية ناشئة تُفسّر جزئياً لماذا تتفوق هذه الطريقة في المهام التي يكثر فيها التماس الفيزيائي وتهمّ فيها الديناميكا.

السرعة شرط أساسي في التحكم الروبوتي. أخذ عيّنات DDPM الكاملة بمئة خطوة إزالة ضجيج بطيء جداً بالنسبة لـالتحكم في حلقة مغلقة. الحل الذي تتبناه سياسة الانتشار هو DDIM (نماذج الانتشار الضمنية لإزالة الضجيج)، وميزتها أنها تفصل بين عدد خطوات التدريب وعدد خطوات الاستدلال. بهذا نستطيع التدريب بمئة مستوى ضجيج ثم الاستدلال بعشر خطوات فقط، فنحقق زمن استجابة 0.1 ثانية على معالج Nvidia 3080 — وهو سريع بما يكفي للتحكم اللحظي عند 10 هرتز.

تستخدم الورقة أيضاً جدول ضجيج جيب التمام المربع (من iDDPM)، وهو أفضل من الجدول الخطي الأصلي في التقاط خصائص التردد العالي والمنخفض لإشارات الأفعال.