Robotics & Language2022متوسط14 دقيقة قراءة
نفِّذ ما أستطيع، لا ما أقول: ربط اللغة بقدرات الروبوت الفعلية
Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
Ahn, M. · Brohan, A. · Brown, N. · Chebotar, Y. · Cortes, O. · David, B. · Finn, C. · Fu, C. · Gopalakrishnan, K. · Hausman, K. · Herzog, A. · Ho, D. · Hsu, J. · Ibarz, J. · Ichter, B. · Irpan, A. · Jang, E. · Jauregui Ruano, R. · Jeffrey, K. · Jesmonth, S. · Joshi, N. J. · Julian, R. · Kalashnikov, D. · Kuang, Y. · Lee, K.-H. · Levine, S. · Lu, Y. · Luu, L. · Parada, C. · Pastor, P. · Quiambao, J. · Rao, K. · Rettinghouse, J. · Reyes, D. · Sermanet, P. · Sievers, N. · Tan, C. · Toshev, A. · Vanhoucke, V. · Xia, F. · Xiao, T. · Xu, P. · Xu, S. · Yan, M. · Zeng, A. — CoRL
المشكلة
بحلول 2022 كانت النماذج اللغوية الكبيرة مثل PaLM وGPT-3 قد تشرّبت معرفة واسعة عن المهام اليومية من نصوص الإنترنت، فصارت قادرة على وصف خطوات تنظيف طاولة أو تحضير وجبة بلغة طبيعية ومتسلسلة. لكن هذه النماذج لم تلمس العالم المادّي يوماً: قد تقترح «شغّل المكنسة الكهربائية» وأنت في مطبخ ليس فيه مكنسة أصلاً، أو تطلب من الروبوت حركة لا يستطيعها ميكانيكياً. في المقابل، الروبوتات المزوّدة بمهارات مُتعلَّمة كانت تُجيد تنفيذ أوامر بسيطة مثل «التقط الكوب»، لكنها عاجزة تماماً عن فهم طلب من نوع «سكبتُ مشروبي، ساعدني!». المشكلة الجوهرية إذن: النموذج اللغوي يعرف ماذا ينبغي فعله لكنه لا يرى الواقع، والروبوت يرى الواقع لكنه لا يفهم المطلوب.
الإسهام
قدّمت الورقة إطار SayCan الذي يجمع بين نموذج لغوي كبير (جانب «قُل» — ما المفيد؟) ودوال مُتعلَّمة (جانب «استطِع» — ما الممكن فعلاً؟) ليتمكّن الروبوت من تنفيذ تعليمات مركّبة وطويلة المدى مصاغة بلغة طبيعية. الفكرة بسيطة: النموذج اللغوي يُعطي كل مهارة درجة تعبّر عن مدى ملاءمتها للتعليمة، ودالة القيمة تُعطيها درجة تعبّر عن احتمال نجاحها في الوضع الراهن، ثم يُختار الفعل صاحب أعلى حاصل ضرب. على 101 مهمة حقيقية في مطبخ مكتبي بروبوت متنقّل ذي ذراع، حقّق SayCan نجاح 84% ونجاح تنفيذ 74% — ما يقارب ضعف أداء الأنظمة غير المُؤرَّضة. وأظهر أيضاً أن تحسين النموذج اللغوي وحده يرفع أداء الروبوت مباشرةً.
الأثر
كان SayCan من أوائل الأعمال التي أثبتت عملياً أن النماذج اللغوية الكبيرة تصلح مخطِّطات حقيقية للروبوتات حين تُربَط بالواقع المادّي. أسّس نموذج «نموذج لغوي كمخطِّط + تأريض بالقدرات» الذي أثّر في جيل كامل من الأنظمة مثل RT-1 وRT-2 وInner Monologue وCode as Policies. والملاحظة بأن أداء الروبوت يتحسّن كلّما تحسّن النموذج اللغوي فتحت جسراً مباشراً بين أبحاث اللغة الطبيعية والروبوتات، وأطلقت الموجة الحالية من نماذج الرؤية واللغة والفعل.
تخيّل طبّاخاً بارعاً يحفظ كل وصفة كُتبت في التاريخ، لكنه لم يَطَأ مطبخك في حياته. تقول له: «انسكب عصير على الطاولة، ماذا أفعل؟» فيجيب فوراً: «شغّل غسّالة الأطباق!» — فكرة ممتازة نظرياً، لكن مطبخك ليس فيه غسّالة أصلاً، والطبّاخ لا يرى ما أمامك.
الآن أحضِر مساعداً يعيش في المطبخ. هذا المساعد لا يعرف كيف يُخطّط لوجبة كاملة، لكنه يعرف بالضبط أين الإسفنجة وأيّ الأدراج تُفتح وأيّ الأدوات في متناول اليد. اجعلهما يعملان معاً: الطبّاخ يقترح الخطوة التالية، والمساعد يرفع يده ويقول «لا، هذا غير ممكن الآن» أو «نعم، هذه نقدر ننفّذها».
SayCan يعمل بالضبط على هذا المبدأ: هو الطبّاخ — معرفة هائلة لكن بلا عيون ولا أيدٍ في المطبخ. و في الروبوت هي المساعد — وعي حيّ بما هو ممكن الآن لكن بلا قدرة على التفكير الاستراتيجي. حين يتعاونان، تخرج خطط ذكية وقابلة للتنفيذ فعلاً.
المشكلة: النموذج اللغوي يحلم، والروبوت يعيش في الواقع
النماذج اللغوية الكبيرة مثل PaLM وGPT-3 تحمل في داخلها كمّاً هائلاً من المعرفة عن كيفية إنجاز المهام اليومية. اسألها: «كيف أنظّف عصيراً مسكوباً؟» فتُعطيك خطة معقولة ومتسلسلة. لكن هذه المعرفة كلّها جاءت من نصوص — لم يسبق لهذا النموذج أن رأى مطبخاً حقيقياً. لا يعرف ما الذي تصل إليه يد الروبوت، ولا أيّ الأدوات موجودة فعلاً على الطاولة، ولا حتى إن كانت الأداة التي يقترحها موجودة في المكان أصلاً.
على الجانب الآخر، الروبوتات المزوّدة بـ مُتعلَّمة تُجيد تنفيذ مهارات قصيرة ومحدّدة — «التقط الإسفنجة»، «اذهب إلى الطاولة» — لكنها لا تستطيع أن تأخذ طلباً غامضاً مثل «تمرّنت للتوّ، أحضر لي شيئاً أتعافى به» وتحوّله إلى سلسلة مرتّبة من تلك المهارات. ينقصها ببساطة الحسّ العام والقدرة على الاستنتاج التي تتوفّر في النماذج اللغوية.
إذن لدينا نقطتا ضعف متكاملتان تماماً: النموذج اللغوي يعرف ماذا ينبغي فعله لكنه لا يرى ما هو ممكن الآن، والروبوت يعرف ما هو ممكن لكنه لا يفهم ما المطلوب. الحلّ الذي يقدّمه SayCan أنيق: عامِل المسألة كحاصل ضرب احتمالين.
إطار SayCan: قُل × استطِع
يقوم SayCan على فكرة بسيطة: دمج وظيفتين متكاملتين. الأولى هي قُل (Say) — وهنا يعمل النموذج اللغوي الكبير كمُقيِّم. حين يتلقّى تعليمة مثل «سكبتُ مشروبي، ساعدني!» يأخذ قائمة المهارات المتاحة — «اعثر على إسفنجة»، «التقط علبة الكولا»، «اذهب إلى سلة المهملات» — ويُعطي كل واحدة منها درجة تعبّر عن مدى ملاءمتها كخطوة تالية لإنجاز التعليمة. هذا ما يمكن تسميته تأريض المهمة: تحويل اللغة المجرّدة إلى مهارات محدّدة.
الوظيفة الثانية هي استطِع (Can) — وهنا تأتي دالة القيمة المُتعلَّمة التي تعمل كـدالة قدرة. وظيفتها أن تُجيب: «هل يستطيع الروبوت تنفيذ هذه المهارة الآن؟» مثلاً «التقط الإسفنجة» تحصل على درجة عالية حين تكون الإسفنجة أمام الروبوت مباشرة، لكنها تقترب من الصفر حين يكون الروبوت في ممرّ فارغ. هذا هو تأريض العالم: ربط المهارات بالواقع المادّي الحالي.
الخطوة الأخيرة واضحة: نضرب الدرجتين. المهارة التي تحصل على أعلى حاصل ضرب هي الأفضل — مفيدة للتعليمة وممكنة فيزيائياً. الروبوت ينفّذها، يُراقب وضعه الجديد، ثم يُكرّر العملية حتى يصدر النموذج اللغوي إشارة الانتهاء. النتيجة: خطة واضحة ومفهومة، مكتوبة بالكامل بلغة طبيعية.
جانب «قُل»: التقييم بالنموذج اللغوي
النقطة المهمة هنا أن SayCan لا يطلب من النموذج اللغوي أن يكتب نصاً حرّاً ثم يأمل أن يذكر مهارات موجودة فعلاً. بدلاً من ذلك، يستخدمه كـمُقيِّم: يُقدّم له وصف كل مهارة متاحة كخيار محتمل، ويقرأ الاحتمال الذي يُعطيه النموذج لكل خيار. بهذا الشكل، المخرجات مقيّدة دائماً بالمهارات التي يملكها الروبوت فعلاً — لا يوجد مجال للهلوسة بمهارات غير موجودة.
التفاعل يأخذ شكل حوار. المستخدم يُعطي تعليمة عامة مثل «نظّف بعد غدائي» فيبدأ النموذج اللغوي بخطة مرقّمة: «1. اعثر على إسفنجة، 2. التقطها، 3. اذهب إلى الطاولة...». يُستخدم أسلوب لإعطاء النموذج أمثلة قليلة توضّح الصيغة المطلوبة. عند كل خطوة، يُقيّم SayCan جميع المهارات، يختار صاحبة أعلى درجة، يُضيفها للخطة، ثم يعود للنموذج اللغوي ليسأل: ما الخطوة التالية؟
لهذا الأسلوب ميزة جوهرية مقارنة بالتوليد الحرّ: القابلية للتفسير. تستطيع أن ترى درجة كل مهارة مُرشَّحة وتفهم لماذا اختار الروبوت هذه الخطة بالذات.
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
# حلقة SayCan المُبسَّطة
plan = []
state = observe_environment()
while True:
best_score = -1
best_skill = None
for skill in available_skills:
# «قُل»: النموذج اللغوي يُقيّم فائدة المهارة
p_useful = llm.score(skill.description, instruction, plan)
# «استطِع»: دالة القيمة تُقيّم القابلية
p_feasible = skill.value_function(state)
# المُركَّب: مفيدة وقابلة للتنفيذ
combined = p_useful * p_feasible
if combined > best_score:
best_score = combined
best_skill = skill
if best_skill.description == "done":
break
# نفّذ وراقب الحالة الجديدة
best_skill.execute()
plan.append(best_skill.description)
state = observe_environment()جانب «استطِع»: دوال القدرة كتأريض للعالم
دالة القدرة تُجيب عن سؤال واحد مباشر: «لو طلبتُ من الروبوت تنفيذ هذه المهارة الآن، هل سينجح؟» وهذا بالضبط ما تُقدّمه دالة القيمة في إطار . التصميم بسيط: الروبوت يحصل على مكافأة 1.0 إذا أتمّ المهارة بنجاح و0.0 إذا فشل، فتصبح دالة القيمة تقديراً مباشراً لاحتمال النجاح.
دُرّبت دوال القيمة هذه عبر ، وهي مشروطة باللغة. نموذج واحد متعدّد المهام يستقبل مُدخلين: صورة الكاميرا الحالية و لغوي لوصف المهارة، ثم يُخرج قيمة بين 0 و1. حين تكون الإسفنجة أمام الروبوت، تحصل «التقط الإسفنجة» على درجة عالية. وحين يكون في ممرّ فارغ، تنخفض درجات جميع مهارات الالتقاط إلى ما يقارب الصفر.
فكّر في دالة القيمة كعيون الروبوت الذكية: هي ترسم خريطة حيّة لـما هو ممكن هنا والآن عبر جميع المهارات الـ551، وتتغيّر مع كل حركة — دون الحاجة إلى كاشفات أشياء مخصّصة أو وصف يدوي للمشهد. في التطبيق، استخدم SayCan سياسات للتنفيذ (لأن نسبة نجاحها أعلى) ودوال قيمة مدرَّبة بالتعلُّم المعزَّز لتقييم القدرة (لأن معايرتها أدقّ)، جامعاً بين أفضل ما في النهجين.
خطوة بخطوة: كيف يبني SayCan خطة
نقطة مهمة: SayCan لا يُخرج الخطة كاملةً دفعة واحدة، بل يبنيها خطوة بخطوة. عند كل قرار يُقيّم جميع المهارات، يختار الأفضل، ينفّذها، ثم يعود إلى النموذج اللغوي ويقول له: «هذا ما فعلتُ حتى الآن، ما التالي؟» لهذا النهج التدريجي فائدتان واضحتان. الأولى: النموذج اللغوي يعرف ما أُنجز فعلاً — بعد إحضار المشروب ينتقل تلقائياً إلى الوجبة الخفيفة بدلاً من إحضار مشروب ثانٍ. والثانية: درجات القدرة تتحدّث بعد كل فعل لأن وضع الروبوت تغيّر — ربما انتقل إلى مكان جديد أو صار يحمل شيئاً في يده.
خُذ مثالاً حيّاً: «تمرّنت للتوّ، أحضر لي مشروباً ووجبة خفيفة أتعافى بهما». هنا على SayCan أن يستنتج أن «التعافي من التمرين» يعني شيئاً صحّياً — ماءً وتفاحة وليس مشروباً غازياً ورقائق. وعليه ترتيب سلسلة المهام الفرعية: اذهب إلى الماء، التقطه، أحضره، ضعه، ثم اذهب إلى التفاحة، التقطها، أحضرها، ضعها، ثم أنهِ المهمة. في كل خطوة يوفّر النموذج اللغوي الحسّ العام اللازم لمعرفة ما يجب فعله تالياً، وتضمن دوال القيمة أن المهارة المُختارة ممكنة فعلاً في الوضع الحالي.
بناء مكتبة المهارات: 551 مهارة عبر 7 عائلات
مكتبة المهارات في SayCan تضمّ سبع عائلات من السلوكيات: التقاط أشياء، وضعها في مكان، الانتقال إلى موقع، البحث عن غرض، إنزال شيء، إسقاطه، وترتيب أشياء بشكل معيّن. بتطبيق هذه العائلات على 17 غرضاً مألوفاً في المطبخ و5 مواقع (طاولتا عمل، طاولة طعام، سلة مهملات، وموقع المستخدم) ينتج 551 مهارة مميّزة.
دُرّبت هذه المهارات بأسلوبين متكاملين. استنساخ السلوك اعتمد على 68 ألف عرض توضيحي بـ جمعها فريق من 10 روبوتات على مدى 11 شهراً. أما التعلُّم المعزَّز فاستخدم إطار MT-Opt في بيئة محاكاة مع عبر RetinaGAN. النتيجة: سياسات استنساخ السلوك تنجح في التنفيذ بنسبة أعلى، لكن دوال القيمة المدرَّبة بالتعلُّم المعزَّز تُقدّر القدرة بدقة أكبر — لذا استخدم SayCan الأولى للتنفيذ والثانية للتقييم.
كلا النوعين مشروطان باللغة عبر شامل مدرَّب مسبقاً. التضمين اللغوي يُحدّد أيّ مهارة ستُنفَّذ، وشبكة واحدة متعدّدة المهام تتولّى جميع مهارات العائلة الواحدة. الفائدة العملية من هذا التصميم: إضافة مهارة جديدة لا تحتاج سوى بيانات تدريب ووسم لغوي — بدون أيّ تعديل على البنية.
النتائج: التأريض يُضاعف الأداء تقريباً
جرى تقييم SayCan على 101 تعليمة حقيقية من 7 أنواع مختلفة: أوامر بسيطة بمهارة واحدة، تعليمات بأسماء مجرّدة، تعليمات بأفعال مجرّدة، لغة مُهيكلة، مهام تعتمد على وضع الروبوت الجسدي، استفسارات جمعها متطوّعون، وخطط طويلة المدى. باستخدام PaLM (540 مليار معامل) كـنموذج لغوي، حقّق PaLM-SayCan نجاح تخطيط 84% ونجاح تنفيذ 74% في مطبخ تجريبي، و81% في التخطيط و60% في التنفيذ في مطبخ مكتبي حقيقي.
أظهرت بوضوح أن كلا المكوّنين ضروريان. بدون تأريض دالة القيمة — أي الاعتماد على ترتيب النموذج اللغوي وحده — انخفض نجاح التخطيط إلى 67%. وبدون النموذج اللغوي — أي استخدام استنساخ السلوك مع التعليمة مباشرةً — كان النجاح 0% في أيّ مهمة متعدّدة الخطوات. الرسالة واضحة: كل مكوّن بمفرده لا يكفي، لكنهما معاً يُشكّلان نظاماً فعّالاً.
النتيجة الأبرز تتعلّق بحجم النموذج اللغوي: الانتقال من FLAN (137 مليار معامل) إلى PaLM (540 مليار) رفع نجاح التخطيط من 70% إلى 84% والتنفيذ من 61% إلى 74%. هذا كان أول دليل عملي على أن تحسين النموذج اللغوي يرفع أداء الروبوت مباشرةً — وهي ملاحظة فتحت جسراً حقيقياً بين أبحاث اللغة الطبيعية والروبوتات.
قدرات جديدة: الأدراج وسلسلة التفكير والتعدّد اللغوي
أظهر SayCan مرونة واضحة في التوسّع. إضافة مهارات جديدة — مثل التعامل مع الأدراج (فتح، إغلاق، إدخال، إخراج) — لم تتطلّب سوى إدراج أوصاف المهارات الجديدة ضمن خيارات النموذج اللغوي وتوفير دوال قيمة مرافقة لها. بمثال واحد فقط في الـprompt، وصل PaLM-SayCan إلى دقة تخطيط 100% في مهام الأدراج.
من نقاط الضعف المعروفة في SayCan الأساسي كان التعامل مع النفي — مثل «أحضر لي وجبة خفيفة ليست تفاحة» — والاستفسارات التي تحتاج استنتاجاً مركّباً. الحلّ جاء بدمج : يُطلب من النموذج اللغوي أن يشرح تفكيره صراحةً قبل تقييم المهارات. مثلاً عند السؤال «أحضر مشروباً بنكهة فاكهة بدون كافيين» يُولّد النموذج تفسيراً: «يريد مشروباً بطعم فاكهة وبلا كافيين، إذن صودا الليمون هي الخيار» — فيحلّ القيد بشكل صحيح.
وبما أن PaLM تدرّب أصلاً على بيانات متعدّدة اللغات، فقد تعامل SayCan مع تعليمات بالصينية والفرنسية والإسبانية بانخفاض طفيف جداً في الأداء — وهذا دون أن يكون النظام مُصمَّماً أصلاً للتعدّد اللغوي.
القيود وأنماط الإخفاق
SayCan يرث نقاط ضعف مكوّنيه. من جهة النموذج اللغوي: يُخطئ في التعامل مع النفي والإشارات الغامضة (مثل «شيء فيه كافيين»)، وأحياناً يُنهي الخطط الطويلة قبل اكتمالها — يُحضر غرضاً واحداً وينسى الثاني. عملياً، 65% من أخطاء التخطيط مصدرها النموذج اللغوي و35% مصدرها خطأ في تقدير القدرة.
من جهة المهارات، النظام مقيّد بما تعلّمه. لا يستطيع أن يرتجل مهارة جديدة لم يتدرّب عليها. إذا لم توجد مهارة في المكتبة تُطابق ما تتطلّبه التعليمة، فلن يُجدي أيّ قدر من ذكاء النموذج اللغوي.
كذلك لا يملك SayCan آلية لإعادة التخطيط في حلقة مغلقة: إذا فشلت مهارة أثناء تنفيذها، فالنظام لا يكتشف الفشل ولا يعيد المحاولة. ورقة Inner Monologue عالجت هذا القيد لاحقاً بأن أعادت تغذية راجعة من البيئة — مثل كاشفات النجاح ووصف المشهد — إلى حلقة تخطيط النموذج اللغوي.
الإرث: من SayCan إلى النماذج التأسيسية في الروبوتات
2022
SayCan (هذه الورقة)
جمع تقييم النموذج اللغوي مع دوال قدرة مُتعلَّمة لربط اللغة بما يستطيعه الروبوت فعلاً. نجح في 101 مهمة حقيقية بنسبة تخطيط 84% وتنفيذ 74%.
2022
المونولوج الداخلي
طوّر فكرة SayCan بإضافة تغذية راجعة في حلقة مغلقة — كاشفات نجاح ووصف للمشهد تعود إلى النموذج اللغوي — ليتمكّن من إعادة التخطيط عند فشل مهارة.
2022
الشِّفرة كسياسات
بدلاً من تقييم مجموعة مهارات ثابتة، استخدم النماذج اللغوية لتوليد شِفرة بايثون تتحكّم بالروبوت مباشرةً، ما وسّع فضاء الأفعال الممكنة بشكل كبير.
2022
RT-1
درّب محوِّلاً واحداً شاملاً على 130 ألف عرض توضيحي حقيقي ليربط التعليمات اللغوية بأفعال الروبوت مباشرةً، مستفيداً من بنية جمع البيانات التي أرساها SayCan.
2023
RT-2
دمج نموذج رؤية ولغة مع مخرجات حركية للروبوت في نموذج واحد يفهم المشاهد البصرية ويُصدر أوامر التحكّم معاً — وهو ما صار يُعرف بنموذج الرؤية واللغة والفعل.
2024
النماذج التأسيسية للروبوتات
تطوّرت فكرة «نموذج لغوي + تأريض» التي أطلقها SayCan إلى نماذج الرؤية واللغة والفعل، حيث اندمج التأريض والتخطيط والتحكّم في نموذج تأسيسي واحد يُدرَّب على نطاق واسع.
ربما لم تكن أهمّ مساهمة لـSayCan هي الخوارزمية بحدّ ذاتها، بل الجسر الذي بناه بين عالمين كانا منفصلين. أثبت أن المعرفة المخزّنة في النماذج اللغوية الكبيرة ليست حبيسة الشاشة — يمكن استخلاصها وربطها بالواقع وتحويلها إلى أفعال مادية يُنفّذها روبوت حقيقي. وفكرة أن تحسين النموذج اللغوي يرفع أداء الروبوت فتحت مساراً بحثياً لا يزال يتسارع: من نهج RT-1 المعتمد على البيانات الضخمة، إلى RT-2 الذي وحّد الرؤية واللغة والفعل في نموذج واحد، وما جاء بعدهما.
المرجعAhn, Brohan, Brown, Chebotar, Cortes, David, Finn, Fu, Gopalakrishnan, Hausman, Herzog, Ho, Hsu, Ibarz, Ichter, Irpan, Jang, et al.. Do As I Can, Not As I Say: Grounding Language in Robotic Affordances. CoRL, 2022.
مصطلحات هذه الورقة
- التأسيسGrounding
- دالة تقييم العوائدValue Function
- النموذج اللغوي الكبيرLarge Language Model
- التخطيطPlanning
- التعلم المعززReinforcement Learning
- الاستنساخ السلوكيBehavioral Cloning
- السياسة البصرية-الحركيةVisuomotor Policy
- هندسة التحفيزPrompt Engineering
- سلسلة التفكيرChain of Thought
- فضاء الأفعالAction Space
- دالة صياغة المكافآتReward Function
- النقل من المحاكاة إلى الواقعSim-to-Real Transfer
- النمط الصفريZero-Shot
- التعلّم متعدد المهامMulti-Task Learning