تعلُّم التحكّم الثنائي الدقيق بعتاد منخفض التكلفة

التحكّم الدقيق — تمرير الخيوط، إدخال القطع، فصل الأغطية، القرص — من أصعب ما يواجه مجال الروبوتات. هذه المهام تختلف جذرياً عن مجرد الالتقاط والوضع: فيها تلامس مستمر، وأجسام قابلة للتشوّه، وهوامش خطأ لا تتجاوز المليمترات. خُذ مثلاً عبوة صلصة شبه شفافة: عليك قلبها أولاً، ثم دفعها برفق نحو القابض، ثم رفعها، ثم فتح غطائها من الأسفل. كل خطوة من هذه الخطوات تحتاج تحكّماً ذا حلقة مغلقة يعتمد على التغذية البصرية، لأن العبوة تتزحزح بشكل غير متوقع مع كل لمسة.

قبل ALOHA، كان التعامل مع هذه المهام يستلزم عادةً عتاداً صناعياً يتجاوز مئة ألف دولار: أذرع عالية العزم بدقة تكرار دون المليمتر، ومستشعرات قوة وعزم دوران، وكاميرات عمق. وحتى مع كل هذا التجهيز، كانت برمجة هذه السلوكيات هشّة ومقيّدة بمهمة بعينها. طرح المؤلفون سؤالاً جريئاً: هل يمكن للتعلّم أن يعوّض ضعف دقة العتاد؟ البشر أنفسهم لا يملكون استقبالاً حسياً ذاتياً بدقة صناعية — ومع ذلك نمرّر خيطاً في إبرة لأننا نتعلّم من أعيننا ونصحّح أخطاءنا لحظة بلحظة.

نظام ALOHA (نظام عتاد مفتوح المصدر منخفض التكلفة لـالتحكّم الثنائي عن بُعد) يجمع بين زوجين من الأذرع الروبوتية: زوج قائد أصغر يحرّكه المشغّل بيديه مباشرة، وزوج تابع أكبر يعكس أوضاع مفاصل القائد لحظة بلحظة. الفكرة أشبه بمسرح دُمى متحركة حيث يداك هما الخيوط التي تقود الحركة. القرار التصميمي الجوهري هو الربط في فضاء المفاصل: كل مفصل في القائد يتحكّم مباشرة بالمفصل المقابل له في التابع، وهذا يتفادى مشكلات التفرّد التي تظهر مع الحركيات العكسية. وثقل الذراع القائد نفسه يعمل كمخمِّد طبيعي يُنعّم اهتزازات يد المشغّل.

التكلفة الإجمالية للنظام — ذراعان تابعان ViperX بستّ درجات حرية ($5,600 لكل منهما)، وذراعان قائدان WidowX ($3,300 لكل منهما)، وأربع كاميرات Logitech، وقوابض مطبوعة ثلاثياً بشريط إمساك، وهيكل من قضبان ألمنيوم — أقل من عشرين ألف دولار، أي ما يعادل تقريباً ثمن ذراع صناعية واحدة. ورغم ذلك، نجح ALOHA في تكرار 14 من أصل 15 مهمة مرجعية لنظام Shadow الذي يكلّف 400 ألف دولار، ولم يعجز إلا عن تدوير كرة داخل اليد — وهي مهمة تحتاج أصابع مرنة لا قوابض متوازية.

أربع كاميرات ترصد المشهد: واحدة من الأعلى، وأخرى من الأمام، واثنتان مثبّتتان على معصمَي الذراعين التابعين. جميعها تبثّ بدقة 480×640 بكسل RGB بتردد 50 هرتز — وهو سريع بما يكفي لتحقيق تحكّم بصري ذي حلقة مغلقة أثناء المهام الدقيقة. والقوابض «الشفّافة» المطبوعة ثلاثياً تمنح كاميرتَي المعصم رؤية واضحة لمنطقة التلامس.

الاستنساخ السلوكي هو أبسط صور التعلّم بالتقليد: صِغ المسألة كـتعلّم مُشرَف — أعطِ النموذج المشاهدة الحالية واطلب منه التنبؤ بما كان الخبير سيفعله. هذا الأسلوب يعمل بشكل جيد مفاجئ في المهام العامة كالتقاط الأشياء ووضعها، لكنه ينهار تماماً حين ندخل عالم التحكّم الدقيق.

السبب هو تراكم الخطأ. في كل خطوة زمنية، تُخطئ السياسة بمقدار صغير في تنبّئها. هذا الخطأ الصغير يدفع الروبوت إلى وضع يختلف قليلاً عمّا شاهده أثناء التدريب. ومن هذا الوضع الغريب يصبح التنبؤ التالي أقل دقة، فيتولّد انحراف أكبر، وهكذا في حلقة مفرغة — تماماً كسائق ينحرف قليلاً عن المسار فيُبالغ في التصحيح، ومع كل تعديل يتأرجح أكثر. في مهمة دقيقة من 700 خطوة بتردد 50 هرتز، حتى خطأ ضئيل في كل خطوة قد يتحوّل إلى فشل كارثي قبل أن تكتمل المهمة بكثير.

المشكلة الثانية هي الارتباط الزمني في العروض التوضيحية. البشر يتوقفون أحياناً أثناء العمل، يترددون، يُعدّلون قبضتهم. سياسة ماركوفية تتنبّأ بخطوة واحدة لا تستطيع التفريق بين «الإنسان توقّف لأنه يفكّر» و«الإنسان توقّف لأنه أنهى المهمة». هذا الخلط يُربك عملية التعلّم ويُنتج سياسات تتجمّد فجأة دون سبب واضح.

مصطلح تقطيع الأفعال مستعار أصلاً من علم النفس، حيث يصف الطريقة التي يجمع بها البشر أفعالاً فردية في وحدات مُتقَنة — فأنت تقول «اربط العقدة» ولا تقول «حرّك الإصبع أ، ثم الإصبع ب، ثم…». طبّق المؤلفون هذه الفكرة على التعلّم بالتقليد.

الفكرة ببساطة: بدلاً من أن تتنبّأ السياسة بفعل واحد في كل مرة، تتنبّأ بالأفعال الـk التالية كمخرج واحد. كل k خطوة، يرصد الروبوت البيئة المحيطة، ويُولّد k وضعية مفصلية مستقبلية، وينفّذها بالتتابع. النتيجة مؤثرة جداً: الأفق الفعّال للمهمة ينكمش بمعامل k. مهمة من 700 خطوة مع k = 100 تتحوّل — من منظور السياسة — إلى 7 نقاط قرار فقط.

رياضياً، السياسة تُنمذج $\pi_\theta(a_{t:t+k} \mid s_t)$ بدلاً من $\pi_\theta(a_t \mid s_t)$ المعتادة. المخرج مصفوفة بحجم $k \times 14$ (14 وضعية مفصلية لذراعين بسبع درجات حرية لكل منهما). هذا التغيير وحده، دون أي تعديل آخر، رفع نسب النجاح من 1% عند k=1 إلى 44% عند k=100 في تجارب المحاكاة — دليل حاسم على أن تقليص الأفق الفعّال هو الرافعة الأهم.

ومن المزايا الجانبية أن تقطيع الأفعال يُعالج مشكلة الارتباط الزمني بشكل طبيعي: لو وقع توقّف الإنسان داخل قطعة، يراه النموذج جزءاً من تسلسل الأفعال وليس نقطة قرار مُحيّرة.

تقطيع الأفعال بصورته الخام فيه نقطة ضعف: كل k خطوة يقفز الروبوت فجأة إلى ملاحظة جديدة وقطعة جديدة، فتبدو الحركة متقطّعة وغير سلسة. الحل هو التجميع الزمني. بدلاً من استعلام السياسة مرة كل k خطوة، يستعلمها المؤلفون في كل خطوة زمنية. هذا يعني أن عدة قطع متراكبة تمتلك كلها تنبؤاً للخطوة الزمنية الحالية.

الفعل النهائي هو متوسط مرجّح لجميع هذه التنبؤات، بأوزان أُسّية $w_i = \exp(-m \cdot i)$ حيث $w_0$ وزن أقدم تنبؤ. المعامل $m$ يتحكّم في سرعة دمج الملاحظات الجديدة. والنقطة المهمة أن هذا ليس تنعيماً عادياً يخلط بين أفعال خطوات متجاورة فيُحدث انحيازاً — بل هو دمج لتنبؤات مختلفة للخطوة الزمنية ذاتها، فيحافظ على الدقة ويُضيف نعومة الحركة.

في التجارب، أضاف التجميع الزمني نحو 3–4% إلى نسبة النجاح فوق تقطيع الأفعال وحده في الطرق ذات المعاملات — مكسب متواضع لكنه ثابت. واللافت أنه أضرّ بطريقة VINN غير البارامترية، مما يُرجّح أنه يُفيد أساساً في تنعيم أخطاء النمذجة لا أخطاء البيانات.

التحدي الأخير يكمن في الضجيج الطبيعي للعروض البشرية. أمام المشاهدة نفسها، قد يُسلّم الإنسان قطعة الشريط اللاصق في موضع مختلف قليلاً كل مرة. سياسة حتمية تُحاول حساب متوسط هذه التنويعات ستتنبّأ بفعل «وسطي» لا يُطابق أياً من العروض الفعلية — وغالباً ستفشل. الحل هو تدريب ACT كـنموذج توليدي، وتحديداً مُرمِّز تبايُني شرطي (CVAE).

البنية تتكوّن من شقّين. المُرمِّز (يُستخدم أثناء التدريب فقط) يأخذ أوضاع المفاصل الحالية وتسلسل الأفعال الحقيقي، ويضغطهما في متغيّر كامن منخفض الأبعاد يُسمّى «متغيّر النمط» $z$. هذا المتغيّر يلتقط الأسلوب المحدد الذي اختاره الإنسان من بين عدة استراتيجيات صالحة. أما المُفكِّك (وهو السياسة الفعلية) فيأخذ المشاهدات الحالية — 4 صور من الكاميرات إلى جانب أوضاع المفاصل — مع $z$، ويُولّد الأفعال الـ$k$ التالية.

عند الاستدلال، يُستبعد المُرمِّز كلياً ويُضبط متغيّر النمط على الصفر (متوسط التوزيع الطبيعي المسبق)، فتصبح السياسة حتمية. الحدس وراء ذلك بسيط: أثناء التدريب، يتعلّم CVAE «تفسير» التباين بين العروض من خلال $z$، فيتحرّر المُفكِّك ويُركّز طاقته على الإشارة المرتبطة بالمهمة.

التنفيذ يعتمد على المُحوِّلات في كل مراحله. مُرمِّز CVAE مبني بأسلوب BERT مع رمز [CLS]: يُعالج تسلسل الأفعال وأوضاع المفاصل، ثم يُستخدم مخرج [CLS] للتنبؤ بمتوسط وتباين $z$. أما مُفكِّك CVAE فيتكوّن من مرحلتين: الأولى مُرمِّز محوِّل يدمج 1,200 سمة صورية (من أربعة هياكل أساسية ResNet18، كل منها يُنتج 300 رمز) مع أوضاع المفاصل و$z$. والثانية مُفكِّك محوِّل يُولّد تسلسل الأفعال بحجم $k \times 14$ عبر الانتباه المتقاطع على التمثيل المدمج.

النموذج الكلّي يضم نحو 80 مليون معامل. يُدرَّب من الصفر في حوالي 5 ساعات على بطاقة RTX 2080 Ti واحدة، وينفّذ الاستدلال في ~10 ميلي ثانية — وهو سريع بما يكفي للتحكّم اللحظي بتردد 50 هرتز.

شملت التجارب مهمتين في المحاكاة وست مهام في العالم الحقيقي، جميعها تتطلب تنسيقاً بين الذراعين. كل مهمة واقعية دُرِّبت بخمسين عرضاً توضيحياً فقط (نحو 10 دقائق من بيانات بشرية) جُمعت عبر ALOHA. قورن ACT بأربع طرق مرجعية: BC-ConvMLP (الاستنساخ السلوكي المعياري)، وBeT (محوِّلات السلوك)، وRT-1 (محوِّل الروبوتات)، وVINN (التقليد البصري بالجيران الأقرب).

على المهمتين المرجعيتين الواقعيتين (فتح الكيس المضغوط وتركيب البطارية)، حقّق ACT نسبتَي نجاح نهائيتين 88% و96%. الطرق الأربع المرجعية جميعها سجّلت 0% في المرحلة الأخيرة. نجحت أحياناً في الخطوة الأولى كالإمساك بالجسم، لكن تراكم الأخطاء حال دون إكمال التسلسل.

على مستوى المهام الست الواقعية كلها، حقّق ACT نسبة 84% في فتح العبوة، و20% في تمرير رباط الفيلكرو (أصعب المهام بسبب حلقة لا تتجاوز 3 مم)، و64% في تحضير الشريط اللاصق، و92% في إلباس الحذاء. أفضل طريقة مرجعية (BeT) سجّلت 0% في المرحلة الأخيرة من هذه المهام الأربع كلها.

عدة تفاصيل تنفيذية أثبتت أنها حاسمة. أوضاع القائد أم التابع كأفعال؟ تسجيل أوضاع مفاصل القائد (ما أمر به الإنسان) بدلاً من التابع (ما نفّذه الروبوت فعلاً) يُرمِّز القوة المُطبَّقة بشكل ضمني، لأن متحكّم PID يتتبّع الفرق بين الاثنين. التحكّم بتردد 50 هرتز: أظهرت دراسة على مستخدمين أن خفض تردد التشغيل عن بُعد من 50 إلى 5 هرتز أطال زمن إتمام المهمة بنسبة 62%، مما يؤكد أن التحكّم المستمر ذا الحلقة المغلقة عالي التردد جوهري للبراعة. حجم القطعة: القيمة المثلى لـk كانت قرابة 100 خطوة (ثانيتان بتردد 50 هرتز)؛ رفعها كثيراً إلى k=400 — وهو قريب من التحكّم المفتوح — أضعف الأداء قليلاً لأن الروبوت فقد القدرة على التفاعل مع تغيّرات البيئة.