Open X-Embodiment: مجموعات بيانات التعلّم الروبوتي ونماذج RT-X

بحلول عام 2023، كان نموذج «التدريب المُسبق ثم الضبط الدقيق» قد غيّر قواعد اللعبة في معالجة اللغة الطبيعية والرؤية الحاسوبية. نماذج مثل GPT وCLIP تتعلّم تمثيلات عامة من كمّيات هائلة من بيانات الإنترنت، ثم تتكيّف مع مهام محدّدة بقليل من الضبط الدقيق. أما الروبوتات فكانت لا تزال عالقة في مرحلة ما قبل ImageNet: كل فريق بحثي يبني نموذجًا خاصًّا بروبوته ومهامه وبيئة مختبره.

والأسباب عملية بحتة. كل روبوت له حركيّاته الخاصة — ذراع Franka ذات 7 درجات حرية لا تُشبه في حركتها WidowX ولا الروبوت رباعي الأرجل. الكاميرات مُثبّتة في أماكن مختلفة. فضاء الأفعال يختلف من روبوت لآخر: بعضها يعمل بسرعات المفاصل وبعضها بإزاحات المنفِّذ الطرفي. وفوق كل ذلك، كل مختبر يحفظ بياناته بصيغته الخاصة، ما يجعل مشاركة البيانات شبه مستحيلة. هذا ما يُعرف بـفجوة التجسيد: الاختلافات الفيزيائية بين الروبوتات التي تجعل من غير الواضح هل يمكن لبيانات روبوت أن تُفيد روبوتًا آخر.

النتيجة كانت شُحًّا مُزمنًا في البيانات. قد يجمع مختبر بضعة آلاف من عيّنات التدريب العملية، لكن هذا لا يكفي لنموذج عميق كي يُعمّم على نطاق واسع. في المقابل، نماذج اللغة الكبيرة كانت تُدرَّب على تريليونات الرموز. الروبوتات كانت بحاجة إلى لحظة توحيد بيانات خاصة بها — وإلى إثبات أن التدريب العابر للأجسام يُنتج فعلًا نقلًا إيجابيًّا لا تشويشًا.

الإسهام الأول هو مجموعة بيانات بحجم غير مسبوق في مجال الروبوتات. تجمع مجموعة بيانات Open X-Embodiment 60 مجموعة بيانات سابقة من 34 مختبرًا بحثيًّا في 21 مؤسسة حول العالم، وتحتوي على أكثر من مليون مسار تدريبي حقيقي من 22 جسمًا روبوتيًّا مختلفًا — من أذرع مُفردة مثل Franka Emika وWidowX، إلى روبوتات ثنائية الذراع وروبوتات رباعية الأرجل.

التحدّي الأكبر كان توحيد الصيغة. كل مختبر يحفظ بياناته بطريقته — دقّات صور مختلفة، وتمثيلات أفعال مختلفة، وصيغ ملفات مختلفة. الحلّ كان اعتماد صيغة RLDS التي تحفظ البيانات في ملفات TFRecord متسلسلة وتتعامل مع فضاءات أفعال متنوّعة وإعدادات كاميرات مختلفة وأنماط حسّاسات متعدّدة. بهذا يستطيع أي باحث في أي مكان تحميل أي جزء من البيانات بخطّ معالجة واحد، بصرف النظر عن الروبوت الذي جمعها.

ولفهم ما تحتويه هذه المجموعة، استخدم الباحثون نموذج PaLM اللغوي لاستخلاص الأغراض والسلوكيّات من التعليمات النصّية المرافقة. المجموعة تغطّي 527 مهارة موزّعة على 160,266 مهمة. مهام الالتقاط والوضع تُشكّل الحصة الأكبر، لكن الذيل الطويل يضمّ مهارات مثل المسح والتجميع وتمرير الكابلات وفتح الأدراج، والأغراض تتنوّع بين أطعمة وأجهزة منزلية وأدوات.

فضاءات الأفعال تختلف اختلافًا جذريًّا بين الروبوتات. بعضها يعمل بسرعات المفاصل، وبعضها بإزاحات المنفِّذ الطرفي في الإحداثيات الديكارتية، والقابض قد يكون ثنائيًّا (فتح/إغلاق) أو متّصلًا بتحكّم في القوة. لتدريب نموذج واحد على كل هذا التنوّع، اختار الباحثون حلًّا بسيطًا لكنه فعّال: المحاذاة التقريبية.

الفكرة هي تحويل أفعال كل روبوت إلى متّجه موحّد من 7 أبعاد لـالمنفِّذ الطرفي: ثلاثة للإزاحة (Δx، Δy، Δz)، وثلاثة للدوران (Δroll، Δpitch، Δyaw)، وواحد لفتحة القابض. إذا كان الروبوت لا يستخدم بعض الأبعاد (كذراع بـ4 درجات حرية لا تدور حول محور معيّن)، تُملأ تلك الأبعاد بأصفار. بعد ذلك يُقسَّم كل بُعد إلى 256 حاوية (تقطيع)، ويُضاف بُعد ثامن يُشير إلى «انتهاء المهمة» — فيصبح المجموع 8 أبعاد مُرمَّزة.

أما المُدخلات البصرية فيُختار لكل مجموعة بيانات منظور كاميرا واحد يُعاد تحجيمه إلى دقّة موحّدة، وتُمرَّر التعليمات النصّية كما هي. اللافت أن هذه المحاذاة لا تسعى إلى تنسيق مثالي بين الأجسام — فمثلًا Δx=0.01 قد يعني إزاحة فعلية مختلفة على كل روبوت — لكن التطبيع المحلّي لكل مجموعة بيانات يتكفّل بهذا الفرق. والخلاصة المفاجئة هي أن هذه المحاذاة التقريبية وحدها تكفي لتحقيق نقل إيجابي.

بدلًا من تصميم بنية جديدة من الصفر، أخذ الباحثون نموذجين موجودين — RT-1 وRT-2 — ودرّبوهما على خليط البيانات العابر للأجسام. النتيجة هي ما يُعرف بـRT-1-X وRT-2-X.

RT-1-X هو محوِّل بحجم 35 مليون معامل صُمِّم خصّيصًا للتحكّم الروبوتي. يُدخل آخر 15 صورة إلى العمود الفقري EfficientNet المُدرَّب مسبقًا على ImageNet، ويُحوِّل التعليمات النصّية إلى تضمين عبر المُرمِّز الجملي العام (USE)، ثم يدمج النمطين معًا بطبقات تكييف FiLM. الناتج هو 81 رمزًا بصريًّا-لغويًّا تدخل إلى محوِّل أحادي الاتجاه يُخرج أبعاد الفعل الثمانية المُرمَّزة. ونقطة مهمة: RT-1-X يُدرَّب على بيانات الروبوتات فقط من الخليط العابر للأجسام.

أما RT-2-X فهو نموذج رؤية-لغة-فعل بحجم 55 مليار معامل. يبدأ من نموذج رؤية-لغة مُدرَّب مسبقًا ويُجري عليه ضبطًا دقيقًا مشتركًا على بيانات الرؤية واللغة الأصلية من الإنترنت وبيانات الروبوتات بنسبة تقارب 1:1. الفكرة الذكية هنا هي أن RT-2 يُعامل الأفعال المُرمَّزة كرموز نصّية عادية — فالفعل يُمثَّل مثلًا بالسلسلة "1 128 91 241 5 101 127". بهذه الطريقة يستطيع رأس نمذجة اللغة الموجود أصلًا إخراج أفعال روبوتية دون أي تعديل في البنية، مع الاحتفاظ بكل المعرفة الدلالية التي اكتسبها من الويب.

يُدرَّب كلا النموذجين بدالة خسارة الإنتروبيا التقاطعية التصنيفية المعيارية على الأفعال المُرمَّزة. كل بُعد من الأبعاد الثمانية (7 لـالمنفِّذ الطرفي + 1 للإنهاء) يُعامَل كمسألة تصنيف على 256 حاوية.

التجارب أُجريت على خليط يضمّ 9 أجسام (مجموعة فرعية من الـ22 في المجموعة الكاملة — أُضيف الباقي تدريجيًّا). وتُوزَّن المجموعات عند الخلط حتى لا تطغى المجموعات الكبيرة على التدريب.

RT-1-X يُدرَّب حصريًّا على خليط الروبوتات. أما RT-2-X فيعتمد الضبط الدقيق المشترك: نصف كل دُفعة تقريبًا يأتي من بيانات الرؤية واللغة الأصلية (صور من الإنترنت مع نصوص) والنصف الآخر من بيانات الروبوتات. الهدف هو منع النموذج الكبير من نسيان ما تعلّمه من الويب أثناء اكتسابه مهارات روبوتية — وهي الفكرة نفسها التي تستخدمها نماذج اللغة حين تعتمد ذاكرة الإعادة لتفادي النسيان الكارثي.

يستقبل كل نموذج سلسلة من الصور الأخيرة (15 إطارًا في حالة RT-1-X) إلى جانب التعليمات النصّية. يُختار منظور كاميرا واحد لكل مجموعة بيانات ويُعاد تحجيمه إلى دقّة موحّدة. وتُطبَّع الأفعال محلّيًّا لكل مجموعة قبل التقطيع إلى حاويات، بحيث يمكن لاحقًا إعادة تحويل مخرجات النموذج إلى الوحدات الفيزيائية الخاصة بالروبوت المُستهدَف.

السؤال المحوري في التجارب هو: هل التدريب على بيانات من روبوتات متعدّدة يُفيد فعلًا كل روبوت على حدة؟ والإجابة: نعم، بوضوح.

RT-1-X في حالة البيانات الشحيحة: حين يُقيَّم على روبوتات لا تملك سوى بيانات قليلة في الخليط، يتفوّق RT-1-X على كلٍّ من الأساليب الأصلية للمختبر ونموذج RT-1 المُدرَّب على بيانات ذلك الروبوت وحده بمتوسط 50%. هذا أقوى دليل على النقل الإيجابي: النموذج يكتسب معرفة عامة في المناولة من روبوتات أخرى وينقلها إلى الروبوتات ذات البيانات المحدودة.

RT-1-X في حالة البيانات الوفيرة (روبوت Google): على روبوت Google الذي يُسهم بأكبر مجموعة بيانات مُفردة، يُعادل RT-1-X أداء المتخصّص RT-1 دون أن يتفوّق عليه. وهذا منطقي: حين تملك بيانات كافية لمجالك المستهدف، فإن إضافة بيانات من مجالات أخرى لا تُضيف كثيرًا.

RT-2-X والمهارات الناشئة: النتيجة الأكثر إثارة هي أن RT-2-X — نموذج الرؤية-اللغة-الفعل بحجم 55 مليار معامل — يُحقّق نجاحًا أعلى بـ3 أضعاف في مهارات موجودة في بيانات روبوت Bridge لكنها غائبة تمامًا عن بيانات روبوت Google. هذه مهارات «ناشئة» لم يتدرّب عليها روبوت التقييم من قبل، ومع ذلك يؤدّيها النموذج لأنه تعلّمها من أجسام أخرى. والفارق بين نموذج الـ55 مليار ونموذج الـ5 مليارات كبير، ما يؤكّد أن سعة النموذج عامل حاسم.

أجرى الباحثون دراسات استئصال مكثّفة على RT-2-X لمعرفة أي قرارات التصميم تُحدث الفرق الأكبر:

سعة النموذج: نموذج الـ55 مليار معامل يتفوّق بفارق واضح على نموذج الـ5 مليارات، لا سيّما في المهارات الناشئة. كلّما كبر النموذج، استخلص معرفة أكثر قابلية للنقل من البيانات نفسها.

التدريب المُسبق على بيانات الويب ضروري: نموذج من 55 مليار معامل يُدرَّب من الصفر دون بيانات ويب يأتي بأداء أسوأ بكثير. المعرفة الدلالية المُكتسبة من الإنترنت — فهم الأغراض والعلاقات المكانية واللغة — عنصر حاسم للنقل العابر للأجسام.

تاريخ الصور يُفيد لكن بحدود: تغذية النموذج بسلسلة قصيرة من الصور (1–3 إطارات) تساعده على استنتاج الحركة والديناميكيات، لكن السلاسل الأطول لا تُضيف كثيرًا.

تركيبة البيانات: تضمين الأجسام التسعة كلّها يُعطي أداءً أفضل من أي مجموعة فرعية. حذف أكبر مجموعة فردية (روبوت Google) أو أكثرها تنوّعًا (Bridge) كلاهما يُضعف النتائج، ما يعني أن الحجم والتنوّع يُسهمان معًا.

مسألة مفتوحة — الحسّاسات والقابضات: يضعف النقل حين يختلف الروبوتان المصدر والمستهدف كثيرًا في نمط الاستشعار (مثل إضافة كاميرات عُمق) أو نوع القابض (مثل الشفط مقابل الفكّين المتوازيين). المحاذاة التقريبية للأفعال لها حدود.

ترك هذا المشروع ثلاثة دروس جوهرية في مجتمع الروبوتات. أولًا: النقل العابر للأجسام ينجح — التدريب على روبوتات مختلفة لا يُربك النموذج بل يُعزّز قدرته على التعميم. ثانيًا: تنوّع البيانات أهمّ من حجمها بالنسبة لأي روبوت بمفرده، فالروبوت ذو البيانات الشحيحة يستفيد من التدريب المشترك أكثر من الروبوت الغنيّ بالبيانات. ثالثًا: حجم النموذج يُطلق قدرات ناشئة — RT-2-X بحجم 55 مليار معامل يُظهر استدلالًا مكانيًّا وفهمًا لعلاقات الأغراض لا يظهران عند الأحجام الأصغر.

لكن عدّة مسائل لا تزال مفتوحة. المحاذاة التقريبية تُعاني حين يختلف الروبوتان كثيرًا في البنية الفيزيائية (رباعيات الأرجل مقابل الأذرع مثلًا). والتعامل بشكل أكثر منهجية مع تنوّع زوايا الكاميرات وأنواع القابضات وتردّدات الأفعال لا يزال مجال بحث نشطًا. وعلى الرغم من إثبات النقل الإيجابي، تظلّ مجموعة البيانات أصغر بكثير من تريليونات الرموز المُستخدمة لتدريب نماذج اللغة — أي أن المجال يحتاج إلى أضعاف مضاعفة من البيانات للاقتراب من نماذج تأسيسية حقيقية في الروبوتات.

نشر المجموعة وخطّ المعالجة بشكل مفتوح أطلق موجة فورية من الأعمال المتتابعة. مشاريع مثل Octo (نموذج عام مفتوح المصدر للروبوتات) وDROID (مجموعة بيانات أكبر من بيئات طبيعية) وπ₀ (نموذج عام قائم على مطابقة التدفق) — جميعها بُنيت مباشرة على منظومة Open X-Embodiment.