RT-2: نماذج الرؤية-اللغة-الفعل تنقل معرفة الويب إلى التحكم الروبوتي

قبل ظهور RT-2 كان التحكم الروبوتي يصطدم بحاجز معرفي جوهري. نماذج مثل RT-1 دُرِّبت على عشرات الآلاف من العروض التوضيحية، وكانت قادرة على التقاط تفاحة أو تحريك علبة إلى اليسار بموثوقية. لكن هذه المعرفة كانت إجرائية بحتة — الروبوت تعلَّم أنماطاً حركية ولم يتعلَّم مفاهيم.

اطلب من RT-1 أن «يلتقط الجسم الذي يصلح كمطرقة» ولن يعرف ماذا يفعل، لأنه لم يصادف هذا الأمر في تدريبه قط. لا يعرف أن المطارق ثقيلة وصلبة، ولا أن الحجر يتشابه معها في هذه الصفات، ولا أن مشروب الطاقة هو ما يحتاجه شخص مُرهَق. كل هذا معرفة بالعالم — وهي تحديداً ما تمتصّه نماذج الرؤية واللغة من مليارات صفحات الإنترنت.

في المقابل، نماذج الرؤية واللغة الكبيرة مثل PaLI-X وPaLM-E تستطيع الإجابة بسهولة عن سؤال «أيّ جسم هنا يصلح كمطرقة؟» — لكنها لا تستطيع تحريك ذراع روبوت. هي تعمل في عالم الكلمات لا في عالم الفيزياء. السؤال المحوري إذن: كيف نصبّ تلك المعرفة الدلالية في أوامر التحكم الحركي ذاتها؟

الاختراق الذي حققه RT-2 يقوم على فكرة بسيطة بشكل لافت: عامِل أفعال الروبوت وكأنها رموز نصية. فعل ذراع الروبوت يتكوّن من 8 أبعاد — إزاحة موضعية على المحاور س وص وع، وإزاحة دورانية حول المحاور الثلاثة، ومقدار فتح القابض، وعَلَم إنهاء المهمة. كل بُعد مستمر يُقسَّم إلى 256 مستوى متساوٍ فيتحوّل إلى عدد صحيح، وهذا هو جوهر ترميز الأفعال. الفعل الكامل يصبح سلسلة نصية مثل "1 128 91 241 5 101 127" — وبالنسبة لنموذج اللغة هذه مجرد جملة أخرى عليه توليدها.

هذا يعني أنك لا تحتاج بنية معمارية جديدة. خُذ نموذج رؤية ولغة موجوداً يفهم الصور والنصوص أصلاً، وعلّمه «لغة» إضافية واحدة: لغة حركات الروبوت. مُدخَل النموذج صورة من كاميرا مساحة عمل الروبوت مع تعليمة بلغة طبيعية مثل «التقط المكعب الأزرق»، ومُخرَجه سلسلة من الرموز التي تمثّل أفعالاً ينفّذها الروبوت مباشرة.

اختيار الرموز التي تمثّل الأفعال يعتمد على النموذج الأساسي. PaLI-X يملك أصلاً رموزاً خاصة بالأعداد الصحيحة من 0 إلى 999، لذا تستخدم الأفعال رموز الأرقام الموجودة مباشرةً. أما PaLM-E فلا يملك رموزاً مناسبة للأعداد، لذا تُستبدَل 256 رمزاً من الأقل استخداماً في قاموسه بدلالات جديدة للأفعال — وهذا شكل من ضبط الرموز حيث تكتسب رموز قائمة معانٍ جديدة من خلال التدريب.

صيغة التدريب تتبع نمط سؤال وجواب بسيطاً: "س: ما الفعل الذي يجب أن يتخذه الروبوت لـ [التقاط المكعب الأزرق]؟ ج: 1 128 91 241 5 101 127". من منظور النموذج لا فرق بين هذا وبين الإجابة البصرية عن الأسئلة — دالة الخسارة ذاتها والتوليد الانحداري الذاتي للرموز ذاته.

RT-2 ليس نموذجاً واحداً — بل هو وصفة تُطبَّق على نموذجي رؤية ولغة مختلفين. فكّر فيه كأسلوب طبخ يعمل مع مكونات أساسية مختلفة:

RT-2-PaLI-X يعتمد على PaLI-X ركيزةً له — مُرمِّز بصري من طراز ViT-22B مقترن بنموذج نصي بمعمارية مُرمِّز-فاكّ ترميز بحجم 32 مليار معامل، ليصل الإجمالي إلى 55 مليار معامل. المُرمِّز البصري يقسّم صورة الكاميرا إلى رُقَع (كما في ViT) ويُسقطها إلى رموز، ثم يولّد نموذج المُرمِّز-فاكّ الترميز سلسلة الفعل بشكل انحداري ذاتي.

RT-2-PaLM-E يعتمد على PaLM-E — نموذج فاكّ ترميز فقط بحجم 12 مليار معامل، ينسج الرموز البصرية مباشرة ضمن تيار الرموز النصية. يعالج الصور والنصوص في تسلسل موحَّد واحد ويُنتج الأفعال كامتداد طبيعي لذلك التسلسل.

كلا النموذجين يأخذان المُدخَل نفسه — صورة كاميرا مع تعليمة — ويُنتجان المُخرَج نفسه: سلسلة من 8 رموز أفعال. النتيجة الجوهرية: الوصفة تنجح بغض النظر عن معمارية النموذج الأساسي، والنماذج الأكبر تُعمِّم بشكل أفضل.

الطريقة الساذجة هي أن تأخذ نموذج الرؤية واللغة وتُجري له ضبطاً دقيقاً على بيانات الروبوت فقط — أي تستبدل صور الويب ونصوصه بصور كاميرا الروبوت وسلاسل الأفعال. لكن هذا يُسبّب النسيان الكارثي: يفقد النموذج معرفته المكتسبة من الويب، وهي بالضبط ما نريد نقله.

حل RT-2 هو الضبط الدقيق المشترك: في كل دُفعة تدريب تُمزَج بيانات المسارات الروبوتية مع بيانات الويب الأصلية (الإجابة البصرية عن الأسئلة، وصف الصور، وغير ذلك). تُرفَع نسبة بيانات الروبوت لتشغل 50–66% من كل دُفعة صغيرة، ما يضمن حصول النموذج على أمثلة كافية لتعلّم التحكم، فيما تعمل بيانات الويب المتبقية كمرساة تمنعه من نسيان شكل المطرقة أو معنى كلمة «متعب».

الفكرة تشبه من حيث المبدأ ما يحصل عند الضبط الدقيق للنماذج اللغوية حين تُمزَج بيانات التعليمات مع بيانات التدريب المسبق — لكن الثمن هنا مختلف. لو نسي النموذج معنى «أحمر» فلن يستطيع تنفيذ أمر «التقط الكوب الأحمر». نسبة المزج ليست تفصيلة تقنية هامشية، بل هي القناة التي تنساب من خلالها معرفة الويب إلى التحكم الروبوتي.

النتيجة الأبرز لـ RT-2 ليست تحسين الأداء على المهام المألوفة — بل ظهور قدرات ناشئة جديدة تماماً لم تكن موجودة في بيانات تدريب الروبوت. هذه القدرات تأتي بالكامل من معرفة نموذج الرؤية واللغة بالعالم حين انسابت إلى التحكم الروبوتي:

• فهم الرموز: «حرِّك التفاحة إلى الرقم 3» — الروبوت لم يتدرّب على الأرقام قط، لكن النموذج يعرف شكل الرقم «3».
• الاستدلال الدلالي: «التقط شيئاً يصلح كمطرقة» — الروبوت يمسك بحجر لا بإسفنجة، لأن النموذج يعرف أن المطارق ثقيلة وصلبة.
• التعرّف على البشر: «أعطِ الوجبة الخفيفة للشخص الذي على اليسار» — النموذج يستطيع تمييز الأشخاص في المشهد.
• الاستدلال النسبي: «التقط أصغر جسم» أو «الأقرب إلى المكعب الأحمر» — استدلال مكاني ومقارن مكتسَب من التدريب المسبق على بيانات الويب.
• الاستنتاج بالحس العام: «أيّ مشروب يساعد شخصاً متعباً؟» — الروبوت يلتقط مشروب طاقة، مُطبِّقاً معرفة بالعالم لم يُعرَض عليها قط في التدريب.

مستلهمين من أسلوب سلسلة التفكير في النماذج اللغوية، درّب المؤلفون نسخة من RT-2 تولّد خطة استدلالية بلغة طبيعية قبل أن تُخرج رموز الأفعال. بدلاً من أن يكون المسار: مُدخَل ← فعل، يصبح مُدخَل ← خطة ← فعل.

مثلاً، عند تلقّي التعليمة «التقط شيئاً يساعد في تنظيف سائل مسكوب»، يُخرج النموذج أولاً: «سألتقط الإسفنجة لأنها تمتص السوائل». ثم يُصدر رموز الأفعال لمسك الإسفنجة.

هذا ليس مجرد شرح توضيحي — خطوة التخطيط تُحسّن فعلاً معدّل نجاح المهمة، لأن النموذج يستطيع تفكيك الاستدلال متعدد الخطوات إلى مراحل وسيطة واضحة. والأهم من ذلك أن هذا الاستدلال قابل للفحص: يمكن للمشغِّل قراءة خطة الروبوت قبل تنفيذها، فيكتشف الأخطاء قبل أن تتحوّل إلى أخطاء في العالم الحقيقي.

شمل التقييم أكثر من 6,000 تجربة على روبوتات حقيقية موزَّعة على ثلاث فئات:

المهام المألوفة — تعليمات وأجسام من مجموعة التدريب. RT-2 حقّق أداءً موازياً لأداء RT-1 القوي (كلاهما تجاوز 90% نجاحاً)، ما يؤكد أن الضبط الدقيق المشترك لا يُضحّي بموثوقية المهام المعروفة.

التعميم — أنواع المهام ذاتها لكن بأجسام أو خلفيات أو بيئات جديدة لم تظهر في التدريب. RT-2 ضاعف تقريباً نسبة نجاح RT-1، ما يُظهر أن معرفة نموذج الرؤية واللغة تنتقل إلى التلاعب الفيزيائي حتى حين يكون المشهد البصري جديداً بالكامل.

القدرات الناشئة — فئات مهام جديدة كلياً تتطلب فهم الرموز أو الاستدلال الدلالي أو التعرّف على البشر. حقّق RT-2 أكثر من 3 أضعاف متوسط نسبة نجاح أفضل خط أساس (RT-1 وVC-1). نسخة PaLI-X ذات الـ 55 مليار معامل تفوّقت باستمرار على نسخة PaLM-E ذات الـ 12 مليار معامل، ما يؤكد أن النماذج الأساسية الأكبر تحمل معرفة أغنى وأكثر قابلية للنقل.

في معيار Language Table المفتوح المصدر حقّق RT-2 نسبة نجاح 90% مقابل 77% لأفضل نتيجة سابقة.

الإسهام الأعمق لـ RT-2 ليس رقماً في جدول نتائج — بل هو البرهان على أن ثورة النماذج الأساسية تنطبق على الروبوتات الفيزيائية وليس فقط على النصوص والصور. الوصفة ذاتها التي جعلت النماذج اللغوية قوية — تدريب مسبق ضخم على بيانات الويب ثم ضبط دقيق على مهمة محددة — تنجح في التحكم الروبوتي أيضاً. والعلاقة حرفية: الأفعال هي رموز، والمعرفة تنساب عبر الأوزان ذاتها التي تعالج اللغة.