وكيل واحد لكل المهام

الفكرة وراء Gato بسيطة بشكل لافت: النماذج اللغوية الكبيرة تُتقن مئات المهام النصية لأنها تتنبّأ بالرمز التالي — فلماذا لا نُعمّم هذا المبدأ على كل أنواع البيانات؟ النصوص والصور ومدخلات ذراع التحكم وزوايا مفاصل الروبوت، كلّها يمكن أن تتحوّل إلى سلسلة مسطّحة من رموز منفصلة. وما إن يصبح كل شيء رموزاً، يكفي نموذج ذاتي الانحدار واحد يتعلّم توقّع الرمز التالي، سواء كان ذلك الرمز كلمةً أو رقعة بكسلات أو ضغطة زرّ أو أمراً لمحرّك.

هذا تطبيق مباشر لما يُسمّى «الدرس المرّ» (the bitter lesson): بدلاً من تصميم بنيات متخصّصة لكل مجال مع انحيازات استقرائية مُعدّة يدوياً، يراهن Gato على بنية عامة واحدة ويترك للبيانات والحجم أن يتكفّلا بالباقي.

التحدّي الهندسي الأكبر في Gato هو الترميز: كيف تُحوّل كل أنواع البيانات إلى قاموس مشترك من أعداد صحيحة منفصلة؟ لكل نوع آليّته:

النصوص تُرمَّز بـSentencePiece بقاموس حجمه 32,000 وحدة فرعية، فتُنتج أعداداً في المجال $[0, 32000)$. هذه الطريقة المعتادة في النماذج اللغوية.

الصور تُقطَّع إلى رُقَع غير متداخلة بحجم $16 \times 16$ بالترتيب السطري (كما في المُحوِّل البصري)، مع تطبيع كل بكسل إلى $[-1, 1]$ وقسمته على $\sqrt{16} = 4$. بعد ذلك تمرّ الرُقَع عبر كتلة ResNet صغيرة لتحويلها إلى متجهات — أي أنها تبقى مستمرة حتى طبقة التضمين.

القيم المستمرة (كعزوم المفاصل أو قراءات المستشعرات) تُضغط بترميز mu-law إلى المجال $[-1, 1]$ ثم تُقسَّم إلى 1024 حاوية منتظمة. هذه الرموز تُزاح إلى المجال $[32000, 33024)$ حتى لا تتداخل مع رموز النصوص.

القيم المنفصلة (كضغطات أزرار Atari) تُسطَّح ببساطة إلى أعداد صحيحة في $[0, 1024)$.

بعد الترميز، يُرتَّب كل شيء بنمط ثابت: في كل خطوة زمنية تأتي الملاحظات أولاً (نصوص ← صور ← مصفوفات عددية)، ثم رمز فاصل، ثم الأفعال. والحلقات ما هي إلا خطوات زمنية مُرتَّبة تصاعدياً.

بنية Gato بسيطة عن قصد: محوِّل معياري أحادي الاتجاه (decoder-only) على غرار GPT. يتألّف من 24 طبقة و16 رأس انتباه، ببُعد تضمين 2048 وحجم طبقة تغذية أمامية 8192، بإجمالي 1.18 مليار معامل. يستخدم تنشيطات GEGLU وتطبيع طبقة مسبقاً (pre-norm) ونافذة سياق طولها 1024 رمزاً.

الجزء المثير ليس المحوِّل نفسه، بل دالة التضمين التي تُغذّيه — فكل نوع من الرموز يُضمَّن بطريقة مختلفة:

رموز النصوص والقيم المنفصلة والمستمرة تُضمَّن عبر جدول بحث مُتعلَّم (lookup table)، يُضاف إليه ترميز موقعي مُتعلَّم يعتمد على موقع الرمز داخل الخطوة الزمنية.

رموز رُقَع الصور تمرّ عبر كتلة ResNet v2 واحدة (مع GroupNorm وGELU) فتُنتج متجهاً لكل رقعة. وتتلقّى أيضاً ترميزاً موقعياً ثنائي الأبعاد — تضمينات صف وعمود مُتعلَّمة ومنفصلة حسب موقع الرقعة في الصورة الأصلية.

اختيار حجم 1.2 مليار معامل كان مقصوداً — ليس لأن نموذجاً أكبر لن يكون أفضل، بل لأن هذا هو أكبر حجم يمكنه العمل في الزمن الحقيقي على معالج NVIDIA RTX 3090 المُثبَّت داخل أذرع DeepMind الروبوتية. حين يتحسّن العتاد، يمكن ببساطة تكبير النموذج.

يُدرَّب Gato بنفس مبدأ أي نموذج ذاتي الانحدار: توقَّع الرمز التالي بناءً على كل ما سبقه. لكن هناك تعديل جوهري: الخسارة مُقنَّعة. النموذج لا يتلقّى إشارة خسارة إلا على رموز النصوص والأفعال. أما الملاحظات (الصور وقراءات المستشعرات) فهي مدخلات فقط — يقرأها النموذج لكنه لا يُطالَب بتوقّعها.

والمنطق واضح: لو طالبنا النموذج بتوقّع الإطار التالي من لعبة فيديو أو القراءة التالية من مستشعر روبوت، لكانت التكلفة الحسابية هائلة دون فائدة حقيقية، لأن وظيفته هي أن يتصرّف لا أن يتخيّل بيانات مستشعرات.

جرى التدريب على شريحة TPU v3 بحجم 16×16 لمدة مليون خطوة، بـحجم دفعة 512 وطول تسلسل 1024، واستغرق نحو 4 أيام. كل دفعة تمزج مقاطع من مجالات مختلفة (Atari ونصوص وروبوتات وغيرها) بشكل شبه متساوٍ، مع رفع يدوي لأوزان مجموعات البيانات الأكبر حجماً والأعلى جودة.

نقطة مهمة في تنقية البيانات: في مهام التحكم، لا يتدرّب Gato إلا على حلقات مُرشَّحة يبلغ عائدها 80% على الأقل من عائد الخبير. أي أن النموذج يرى في معظم الوقت سلوكاً جيداً — وهذا عملياً شكل من أشكال الاستنساخ السلوكي من عروض شبه خبيرة.

أما بخصوص التهيئة بالسياق: أثناء التدريب يُسبَق 25% من التسلسلات بتسلسل عرض من نفس المهمة. نصف هذه العروض يأتي من نهاية حلقة ناجحة (فيعمل كتوجيه نحو الهدف)، والنصف الآخر يُختار عشوائياً. الغاية أن يتعلّم النموذج استنتاج المهمة المطلوبة من السياق بدلاً من الاعتماد على معرِّف صريح.

عند النشر يعمل Gato كسياسة ذاتية الانحدار. تبدأ العملية بترميز تسلسل تهيئة (عادةً عرض ناجح للمهمة) ليكون نقطة الانطلاق. بعدها تُقدّم البيئة ملاحظة جديدة تُرمَّز وتُلحق بالتسلسل، ويبدأ Gato بتوليد رموز الفعل واحداً تلو الآخر. بمجرد اكتمال متجه الفعل، تُعكَس عملية الترميز (فكّ الحاويات للقيم المستمرة وإلغاء الإزاحة للقيم المنفصلة) ويُرسَل الفعل إلى البيئة. تتقدّم البيئة خطوة، وتعود ملاحظة جديدة، وهكذا دواليك.

النموذج يرى دائماً كل الملاحظات والأفعال السابقة ضمن نافذة سياق طولها 1024 رمزاً. في مهام الروبوتات تحديداً، أُضيفت ذاكرة Transformer-XL عند النشر (دون استخدامها في التدريب) لتوسيع السياق الفعّال.

وهنا يظهر التحدّي العملي: نموذج بـ1.2 مليار معامل يكاد بالكاد يلحق بمعدّل تحكم 20 هرتز للروبوت Sawyer، إذ يتجاوز الخطوة الزمنية (50 مللي ثانية) بنحو 10 مللي ثانية. هذه هي المعادلة الصعبة في تصميم Gato: التحكم اللحظي يتطلّب نماذج صغيرة، لكن القدرة تتطلّب نماذج كبيرة.

نطاق بيانات التدريب في Gato استثنائي. في المحاكاة وحدها هناك 596 مهمة تحكّم عبر 12 مجالاً: 51 لعبة Atari، و254 مستوى في DM Lab، و45 مهمة تلاعب في Meta-World، و30 مهمة DM Control Suite (بعضها من الحالة وبعضها من البكسلات)، و46 مستوى تعليمات لغوية في BabyAI، و16 لعبة Procgen، و38 نسخة حركيّة في Modular RL، وغيرها. يُضاف إلى ذلك بيانات رؤية-لغة: MassiveText للنصوص الصرفة، وALIGN وLTIP لأزواج الصور والتوصيفات، وMS-COCO وConceptual Captions للوصف، وOKVQA/VQAv2 للإجابة البصرية عن الأسئلة.

النتيجة الأبرز: بمجموعة أوزان واحدة، يتجاوز Gato عتبة 50% من أداء الخبير في 450 مهمة من أصل 604. ويتفوّق على متوسط الأداء البشري في 23 لعبة Atari، بل يتجاوز ضعف الدرجة البشرية في 11 منها. وفي معيار تكديس RGB الروبوتي، يُضاهي وكيل الاستنساخ السلوكي المُخصَّص الذي دُرِّب على تلك المهمة وحدها.

اختبر الباحثون ثلاثة أحجام — 79 مليون و364 مليون و1.18 مليار معامل — ووجدوا أن التحسّن مطّرد مع التكبير. بنفس عدد رموز التدريب، تتفوّق النماذج الأكبر بوضوح عبر جميع المجالات. هذا السلوك يتطابق مع قوانين التوسّع المعروفة في النماذج اللغوية، ويُشير إلى أن أداء Gato المتعدد الأنماط والمهام سيستمرّ في التحسّن كلما كبر النموذج.

أهمية هذه النتيجة أنها تعني أن البنية ليست هي العائق — بل البيانات والحوسبة. بمعنى أنه مع تطوّر العتاد وتوسّع بيانات التدريب، يمكن لنفس «وصفة» Gato أن تنتج وكلاء عموميين أقوى باستمرار.

هل يستطيع Gato تعلّم مهام لم يرها إطلاقاً؟ لاختبار ذلك، حجب الباحثون أربع مهام من التدريب المسبق — تأرجح العمود (cartpole)، وتجميع Meta-World، وجمع التفاح في DM Lab، وملاكمة Atari — ثم أجروا ضبطاً دقيقاً على مجموعات صغيرة تتراوح بين حلقة واحدة و1000 حلقة.

النتائج ترسم نمطاً واضحاً: التدريب المسبق على بيانات متنوّعة يُحدث فرقاً كبيراً. Gato المُدرَّب على كل البيانات يتفوّق باستمرار على النماذج التي دُرِّبت على بيانات المجال نفسه فقط، وهذه بدورها تتفوّق على النماذج التي بدأت من الصفر. الاستثناء الوحيد ملاكمة Atari، حيث يختلف الأسلوب البصري كثيراً عن بقية المجالات فيصعب نقل التعلّم.

في مهام الروبوتات كانت النتائج أوضح. في معيار تكديس RGB، يستعيد Gato أداء الخبير بعشر حلقات ضبط دقيق فقط، ويبلغ ذروته بين 100 و1000 حلقة. ومهمة جديدة كلياً مثل «ضع الأزرق فوق الأخضر» (خارج توزيع التدريب تماماً) حقّقت نسبة نجاح 60% بعد الضبط الدقيق، مقابل 0.5% فقط لنموذج بدأ من الصفر.

لفهم كيف ينظّم Gato تمثيلاته الداخلية، استخرج الباحثون التضمينات من منتصف الشبكة (الطبقة 12 من 24) وصوّروها باستخدام PCA ثم t-SNE.

النتيجة لافتة: تضمينات كل مهمة تتكتّل معاً بإحكام، والمهام التي تنتمي لنفس المجال تقع قرب بعضها في الفضاء. النصوص وبيانات الويب تتداخل (فكلاهما لغة)، بينما ألعاب Atari تُشكّل عنقوداً مستقلاً. مهام التحكم تتجمّع حسب نوع مدخلاتها (حالة مقابل بكسلات). والأهم أن مهمة محجوبة لم تظهر في التدريب (تأرجح العمود) تقع مع ذلك بجوار جيرانها من نفس المجال.

المعنى واضح: Gato طوّر هندسة داخلية واعية بالمهام. كل مجموعة مهام تسكن منطقة مختلفة من فضاء التمثيل، والنموذج يتنقّل بينها بحسب السياق. لا يتعلّق الأمر بحفظ أنماط رموز، بل ببناء خريطة داخلية للمهام والمجالات.

Gato إثبات مفهوم وليس منتجاً جاهزاً، وهو يكشف عدّة قيود جوهرية:

ضيق نافذة السياق: 1024 رمزاً يعني أنه في البيئات الغنية بالصور لا يتّسع السياق إلا لبضع خطوات زمنية. النتيجة أن النموذج لا يرى ما يكفي من أيّ عرض توضيحي ليتعلّم منه داخل السياق.

فجوة التخصّص: أداء Gato يبقى أقل من الوكلاء المتخصّصين المُدرَّبين على مهام مفردة. فميزانية 1.2 مليار معامل موزَّعة على 604 مهمة، ما يعني أن كل مهمة تحصل على سعة فعّالة أقل بكثير مما يحصل عليه المتخصّص.

تكلفة جمع البيانات: بيانات التحكم تحتاج إلى تدريب تعلّم معزّز مكلِف أو عروض بشرية. وبخلاف بيانات اللغة التي يمكن جمعها من الإنترنت، لا يوجد «إنترنت لتجارب الروبوتات» يمكن الاستقاء منه.

ضعف جودة الحوار: مخرجات Gato النصية سطحية في الغالب وأحياناً غير دقيقة واقعياً، وتبقى بعيدة عن مستوى النماذج اللغوية المُخصَّصة كـChinchilla وPaLM في ذلك الوقت.

إرث Gato الحقيقي ليس في أرقام أدائه — فالمتخصّصون ما زالوا يتفوّقون في المهام المنفردة. إرثه هو إثبات أن الفكرة ممكنة: مجموعة أوزان واحدة تستطيع ترميز معرفة تمتدّ عبر النصوص والرؤية والتحكم الفيزيائي. قبل Gato كانت عبارة «نموذج واحد لكل شيء» موقفاً فلسفياً. بعده أصبحت خارطة طريق هندسية. المسار من Gato إلى RT-1 إلى RT-2 يرسم اتجاهاً واضحاً: خُذ فرضية العمومية على محمل الجدّ، أضِف مزيداً من البيانات والحجم، وسيبدأ المتخصّصون بفقدان مبرّرهم.