تعلُّم التلاعب البارع داخل اليد الآلية

يد Shadow Dexterous فيها خمسة أصابع تُحرّكها 20 زوجاً من الأوتار المتضادة، فتمنحها 24 درجة حرية — قريبة من عدد درجات حرية اليد البشرية. المهمة المطلوبة هي التلاعب داخل اليد: ضع مكعباً على الراحة ثم أدِره ليُطابق اتجاهاً مستهدفاً، مرة تلو الأخرى، من غير أن يسقط.

في الروبوتات التقليدية، تحتاج نموذجاً فيزيائياً دقيقاً لكل وتر ومفصل وسطح تلامس. لكن يد Shadow تعمل بأوتار تُسبّب ارتخاءً عكسياً، وأطراف أصابعها مرنة قابلة للتشوّه، ومستشعراتها فيها ضوضاء تتغيّر حسب الوضعية — وكلها ظواهر يعجز محاكي الأجسام الصلبة عن تمثيلها بدقة. هذا الفارق بين المحاكاة والواقع هو ما نسمّيه فجوة الواقع، وهو يجعل نقل السياسة مباشرةً من المحاكاة إلى العتاد أمراً شبه مستحيل.

التدريب على الروبوت الفعلي ليس عملياً أيضاً. التعلّم المعزّز العميق يحتاج ملايين الحلقات، كل حلقة تستغرق عدة ثوانٍ. حتى بتردد تحكّم 12 هرتز، ستحتاج سنوات لجمع خبرة كافية — واليد تتعطّل فعلياً أثناء التجارب وتحتاج إصلاحات مُكلفة.

إن لم تستطع أن تجعل محاكاة واحدة تطابق الواقع تماماً، فأنشئ آلاف المحاكاة التي تُحيط بالواقع من كل جانب. هذه هي فكرة التوزيع العشوائي للنطاق: في بداية كل حلقة تدريبية، تُعشوَّن الفيزياء والمشاهدات والمظهر البصري بحيث لا تتشابه حلقتان أبداً. السياسة التي تنجح في كل هذه الاختلافات لا يمكن أن تكون قد حفظت خصائص محاكٍ واحد — بل لا بدّ أنها تعلّمت شيئاً عاماً يكفي للعمل في الواقع أيضاً.

العشوائيات تنقسم إلى ثلاث فئات:

عشوائيات الفيزياء: أبعاد الجسم تُضرب بمعامل من $[0.95,\,1.05]$، والكتل من $[0.5,\,1.5]$، ومعاملات الاحتكاك من $[0.7,\,1.3]$، وتخميد المفاصل بمعامل لوغاريتمي منتظم من $[0.3,\,3.0]$، بل حتى الجاذبية تُضاف إليها ضوضاء غاوسية بانحراف $\sigma = 0.4\,\text{m/s}^2$ لكل محور. النطاقات مركّزة حول قيم معيَّرة بحيث يقع الواقع داخل التوزيع.

ضوضاء المشاهدات: ضوضاء مترابطة (تُسحب مرة واحدة لكل حلقة) تُحاكي انحياز المستشعر، وضوضاء مستقلة (تُسحب كل خطوة) تُحاكي ارتجاج القياس. مثلاً: مواضع أطراف الأصابع تحصل على ضوضاء $\pm\,2\,\text{mm}$، واتجاه الجسم على $\pm\,0.1\,\text{rad}$.

تأثيرات غير مُنمذَجة: تأخير الأوامر، والارتخاء العكسي في المحركات، وقوى خارجية عشوائية تُطبَّق على الجسم، ومحاكاة انحجاب علامات التتبع — كل ذلك يحقن فوضى العالم الحقيقي التي يُغفلها المحاكي المثالي.

كثير من المعاملات المُعشوَّنة — كتلة الجسم، الاحتكاك، صلابة المفاصل — تبقى ثابتة طوال الحلقة الواحدة. العميل الذكي يُفترض أن يستنتج هذه الخصائص الخفيّة من بضع ثوانٍ من التفاعل ثم يُكيّف سلوكه. الفكرة مشابهة لما يُسمّى تعرّف النظام في التحكم الكلاسيكي، لكن هنا السياسة تتعلّم أن تفعله ضمنياً من خلال الذاكرة.

السياسة هي شبكة عصبية تكرارية: المدخلات تمرّ أولاً بـطبقة كثيفة بتنشيط ReLU، ثم تدخل وحدة LSTM من 512 خلية مخفية. هذه الوحدة تحتفظ بـحالة مخفية تُراكم المعلومات عبر الزمن. وقد أظهر المؤلفون أن هذه الحالة المخفية بعد 5 ثوانٍ فقط من التفاعل تتنبّأ بما إذا كان المكعب أكبر أو أصغر من المتوسط — أي أن الشبكة تعلّمت أن تتعرّف على الخصائص الفيزيائية أثناء العمل.

شبكة القيمة لها البنية ذاتها لكنها تتلقى معلومات مميَّزة لا تتوفر إلا في المحاكاة: الزوايا الحقيقية للمفاصل وسرعاتها وسرعات الجسم. هذا هو أسلوب الممثِّل-الناقد غير المتماثل — الناقد يرى كل شيء أثناء التدريب فيسهل عليه تقدير العوائد، بينما السياسة (الممثِّل) لا ترى إلا مشاهدات جزئية مُشوَّشة. عند النشر على الروبوت الحقيقي، لا نحتاج إلا الممثِّل فقط.

التدريب يتمّ بخوارزمية أمثَلة السياسة القريبة (PPO). هذه خوارزمية أثناء السياسة تُحدّث السياسة عبر تعظيم دالة هدف بديلة مقصوصة:

خيار تصميمي مهم هنا هو استخدام إجراءات منفصلة. رغم أن زوايا المفاصل متصلة بطبيعتها، قسّم المؤلفون كل بُعد من أبعاد فضاء الإجراء العشرين إلى 11 خانة. اتضح أن التوزيعات المنفصلة تتفوّق على السياسات الغاوسية المتصلة — ربما لأن التوزيع الفئوي أغنى تعبيراً ويُسهّل تعلّم دالة أفضلية جيدة.

المكافأة بسيطة ومباشرة: $r_t = d_t - d_{t+1}$، حيث $d_t$ هي زاوية الدوران بين الاتجاه الحالي والمستهدف. يُضاف $+5$ حين يتحقّق الهدف (ضمن هامش 0.4 راديان)، وتُطبَّق عقوبة $-20$ حين يسقط الجسم. هذا التشكيل للمكافأة يدفع السياسة طبيعياً نحو الهدف ويُعاقبها بشدة على الإسقاط.

التوزيع العشوائي للنطاق يزيد صعوبة التعلّم زيادة هائلة. بدون عشوائية، تتقارب السياسة بعد نحو 3 سنوات من الخبرة المحاكاة (ساعة ونصف فعلياً). مع العشوائية الكاملة، يحتاج التقارب نحو 100 سنة من الخبرة المحاكاة (50 ساعة فعلياً). زيادة بمقدار 30 ضعفاً تتطلّب حوسبة ضخمة.

نظام التدريب الموزَّع المسمّى Rapid يستخدم 384 آلة عاملة فيها 16 نواة معالج لكل منها (6,144 نواة إجمالاً) لتوليد التدحرجات بالتوازي، وآلة مُحسِّن واحدة بـ8 بطاقات NVIDIA V100. الآلات العاملة تُنزّل أحدث معاملات السياسة من Redis وتُشغّل الحلقات ثم تُعيد الخبرة. المُحسِّن يسحب الدُّفعات ويُحمّلها على بطاقات الرسوميات ويحسب التدرّجات ويُوسّطها عبر البطاقات بواسطة MPI. هذا الأنبوب يُنتج نحو سنتين من الخبرة المحاكاة في الساعة.

تجارب التوسيع أظهرت تسارعاً شبه خطّي حتى 16 بطاقة و12,288 نواة، ثم تبدأ العوائد بالتناقص.

لنشر النظام خارج المختبر لا يمكن الاعتماد على علامات تتبّع ملصوقة بالجسم. الروبوت يحتاج أن يرى. لذلك درّب المؤلفون شبكة عصبية التفافية (CNN) لتقدير موضع الجسم واتجاهه ثلاثي الأبعاد من ثلاث كاميرات RGB.

بنية شبكة الرؤية: مُستخلِص سمات مشترك لكل كاميرا (طبقتا التفاف وتجميع أقصى و4 كتل ResNet وطبقة softmax مكانية)، ثم تُدمَج المتجهات الثلاثة وتمرّ عبر شبكة كاملة الاتصال للتنبؤ بسبع قيم: 3 للموضع و4 للاتجاه (بصيغة الرُّباعي quaternion).

الحيلة الأساسية هنا: نموذج الرؤية مُدرَّب بالكامل على صور اصطناعية مُولَّدة في Unity بمظهر عشوائي — إضاءة مختلفة، ملمس مختلف، مواد مختلفة، مواضع كاميرا متغيّرة، ومستويات ضوضاء متنوعة. هذا التوزيع العشوائي البصري يتبع الفلسفة نفسها: اجعل توزيع التدريب عريضاً بما يكفي ليقع الواقع داخله. النتيجة: نموذج بخطأ دوران $5°$ وخطأ موضع $9\,\text{mm}$ على صور حقيقية — وهذا يكفي تماماً لعمل سياسة التحكم.

أبرز ما في النتائج هو ما تكتشفه السياسة من تلقاء نفسها. بدون أي بيانات بشرية ولا تشكيل يدوي للمكافأة، تُطوِّر السياسة تلقائياً أنواع قبضات موثّقة في أبحاث التلاعب البارع عند الإنسان: القبضة الثلاثية، وقبضة أطراف الأصابع، والقبضة الراحية، والرباعية، بل وقبضة القوة. كذلك تظهر استراتيجيات حركية مثل التمرير بالأصابع (تمشية الجسم من إصبع لآخر)، والدوران حول إصبع واحد، واستغلال الجاذبية بشكل محسوب، وتنسيق قوى الدفع والفتل معاً.

اللافت أن السياسة تُفضّل الخنصر في القبضات الدقيقة. في يد Shadow، الخنصر فيه درجة حرية إضافية مقارنةً بالسبّابة والوسطى — عكس تشريح اليد البشرية. السياسة أعادت اكتشاف قبضات الإنسان لكنها كيّفتها لتناسب جسدها هي.

من الناحية الكمّية: أفضل سياسة تحقّق وسيطاً من 50 دورة ناجحة متتالية في المحاكاة، و13 على الروبوت الحقيقي بالتتبع الحركي (أو 11.5 بالرؤية). وحين يُقفل مفصل ميلان المعصم — وهو مصدر أغلب حالات الفشل — يقفز الوسيط على الروبوت الحقيقي إلى 28.5.

أزال المؤلفون مجموعات العشوائيات بشكل منهجي واختبروا الأداء على الروبوت الحقيقي. النتائج واضحة وحاسمة:

مع كل العشوائيات تحقّق السياسة وسيطاً من 13 دورة على الروبوت الحقيقي. بدون أي عشوائية (محاكٍ عادي) ينهار الوسيط إلى 0 — السياسة تفشل تماماً. إزالة عشوائيات الفيزياء وحدها تُنزل الأداء إلى وسيط 2. إزالة التأثيرات غير المُنمذَجة (ارتخاء وتأخير وقوى عشوائية) تُنزله أيضاً إلى 2. إزالة ضوضاء المشاهدات أثرها أقلّ مع التتبع الحركي (وسيط 8.5) لكنه كبير جداً مع الرؤية (الوسيط يهبط من 11.5 إلى 3.5).

التدريب بدون عشوائية يحتاج نحو 3 سنوات من الخبرة المحاكاة. مع العشوائية الكاملة يحتاج نحو 100 سنة — أي 30 ضعفاً ثمناً لجعل السياسة متينة بما يكفي لتعمل في الواقع.

الذاكرة كذلك لها أثر كبير. استبدال سياسة LSTM بشبكة أمامية يُسقط الوسيط من 13 إلى 3. الحالة المخفية لـLSTM تتنبّأ بخصائص البيئة (كحجم الجسم) بعد 5 ثوانٍ فقط، ما يُثبت أن الذاكرة تقوم فعلاً بـتعرّف ضمني على النظام.