Voyager: وكيل مُجسَّد مفتوح النهاية يعمل بالنماذج اللغوية الكبيرة

ماينكرافت ليست بيئة اختبار عادية — لا يوجد فيها هدف محدّد ولا قصة خطّية، بل عالم لا نهائي يتولّد إجرائياً ويفتح أمام اللاعب احتمالات لا حصر لها. الوكيل الذي يريد النجاح في عالم كهذا يحتاج ثلاث قدرات مفقودة في المقاربات الحالية:

اقتراح مهام تناسب الموقف. إذا ظهر الوكيل في صحراء، فالمنطقي أن يتعلّم حصاد الرمل والصبّار أولاً قبل أن يفكّر في أدوات حديدية — وليس أن يتبع منهجاً جامداً صُمِّم لبيئة غابات.

صقل المهارات وحفظها. حين يفشل برنامج محاربة الزومبي، ينبغي أن يستفيد الوكيل من التغذية الراجعة من البيئة لإصلاحه. وحين يُتقن المهارة، يجب أن تُحفظ نهائياً وتبقى جاهزة لإعادة الاستخدام في مهام مشابهة — فمحاربة العناكب مثلاً تعتمد على منطق قريب.

الاستكشاف المفتوح بدافع ذاتي — البحث عن تحديات جديدة باستمرار دون انتظار تعليمات من أحد.

وكلاء التعلّم المعزّز التقليديون يعجزون عن الثلاثة. يتعاملون مع أفعال منخفضة المستوى (تقدّم، انعطف يساراً)، فيصعب عليهم بناء سلوكيات ممتدة زمنياً. أما الوكلاء الأحدث المبنيّون على النماذج اللغوية مثل ReAct وReflexion فبإمكانهم الاستدلال والتأمّل، لكن لا ذاكرة لديهم بين الحلقات — كل حلقة تبدأ من صفر.

فكرة المنهج التلقائي بسيطة: بدل أن يُحدّد إنسان قائمة المهام مسبقاً، يتولّى GPT-4 دور المعلّم. في كل خطوة يتلقّى وصفاً كاملاً لحالة الوكيل — ماذا يملك في مخزونه، أين يقف، ما نوع المنطقة البيئية حوله، كم صحّته، أي وقت من اليوم، وما المهام التي أنجزها أو فشل فيها — ثم يقترح المهمة التالية. التوجيه الوحيد الذي يحكم اختياره: «اكتشف أكبر عدد ممكن من الأشياء المتنوّعة.»

ما يميّز هذا المنهج أنه ليس قائمة جامدة. يستعمل GPT-4 أسلوب الاستدلال بسلسلة التفكير ليُقرّر الخطوة التالية بناءً على سياق الوكيل الفعلي. لو كان قرب نهر ولم يصطد سمكة من قبل، قد يقترح «اصطد سمكة». لو كان يملك أدوات خشبية لكنه يفتقر للحجرية، قد يقترح «استخرج حجارة مرصوفة». المنهج يتطوّر مع مسار الوكيل الحقيقي، لا يُعاد تشغيل سيناريو ثابت.

يحصل المنهج أيضاً على سياق إضافي من وحدة أسئلة وأجوبة مبنية على GPT-3.5 ومربوطة بموسوعة ماينكرافت. حين يُولّد GPT-4 مهمة، يسحب GPT-3.5 وصفات الصناعة المناسبة وسلوك الكائنات ومعلومات البيئة، فيبقى المنهج مُرتبطاً بمعرفة فعلية باللعبة. هذا التقسيم الذكي يفصل الاستدلال الرفيع (GPT-4) عن البحث الحقائقي (GPT-3.5)، فيوازن بين الجودة والتكلفة.

مكتبة المهارات هي ذاكرة Voyager طويلة الأمد. الفكرة مباشرة: كلما أنجز الوكيل مهمة بنجاح، يُحفظ البرنامج الذي نفّذها كمهارة جاهزة لإعادة الاستخدام. كل مهارة تتكوّن من شقّين: كود JavaScript قابل للتنفيذ (عبر واجهة Mineflayer)، ووصف نصّي يُولّده GPT-4.

التخزين: كل مهارة تُفهرس عبر تضمين وصفها النصي. حين يكتب GPT-4 برنامجاً جديداً، يُنتج معه وصفاً مختصراً مثل «استخرج 3 كتل حجارة مرصوفة» أو «اصنع فأساً خشبياً». هذا الوصف يتحوّل إلى متّجه عبر نموذج تضمين نصي، ويُخزَّن مع الكود في قاعدة بيانات متجهية.

الاسترجاع: حين يطرح المنهج التلقائي مهمة جديدة، يبحث Voyager في المكتبة عن أقرب 5 مهارات من حيث التشابه مع وصف المهمة. هذه المهارات تُدرج في الإرشاد كأمثلة، فلا يضطر GPT-4 للبدء من الصفر — بل يعيد استخدام ما هو موجود أو يُعدّله أو يُركّبه.

التركيبية: هنا تتجلّى قوة المكتبة. مهارة «اصنع فأساً خشبياً» تستدعي مهارة «احصل على 3 ألواح»، وتلك بدورها تستدعي «اقطع شجرة». السلوكيات المعقّدة تُبنى من تركيب سلوكيات أبسط — تماماً مثل قطع الليغو. هذه البنية التركيبية تجعل قدرات Voyager تنمو بوتيرة أسرع من الخطية: كل مهارة جديدة تستطيع الاستفادة من كل ما سبقها.

لا نسيان كارثي: لأن المهارات محفوظة ككود في قاعدة بيانات خارجية — وليست مُرمَّزة في أوزان شبكة عصبية — فإن Voyager لا ينسى شيئاً. مهارة اكتسبها في الساعة الأولى تبقى جاهزة تماماً في الساعة المئة. هذا فرق جوهري عن الوكلاء الذين يحشرون معرفتهم في معاملات النموذج.

في الواقع، نادراً ما ينجح الكود الذي يُولّده GPT-4 من المحاولة الأولى. لذلك يعتمد Voyager على حلقة إرشاد تكرارية تُنقّح البرنامج عبر ثلاث قنوات:

التغذية الراجعة من البيئة: بعد تشغيل الكود، تُعيد اللعبة حالة الوكيل المحدَّثة — المخزون، الموقع، الصحة، الكتل والكائنات المحيطة. لو كانت المهمة «استخرج 3 خامات حديد» والمخزون يُظهر خامة واحدة فقط، يُدرك GPT-4 أن المهمة لم تكتمل ويُعدّل الكود.

أخطاء التنفيذ: لو أنتج الكود خطأً أثناء التشغيل — مثل محاولة صنع «فأس أكاسيا» وهو عنصر غير موجود في ماينكرافت — تُرسل رسالة الخطأ إلى GPT-4 مباشرة ليُصحّح الكود ويُنتج نسخة معدّلة.

التحقّق الذاتي: هذا استدعاء مستقل لـ GPT-4 يؤدّي دور الناقد. ينظر المُحقّق إلى وصف المهمة وحالة الوكيل بعد التنفيذ، ويُقرّر هل أُنجزت المهمة حقاً أم لا. إن لم تُنجز، يُوضّح الخلل ويقترح الإصلاح. المهارة لا تُضاف إلى المكتبة إلا بعد اجتياز هذا التحقّق.

تدور هذه الحلقة حتى 4 محاولات لكل مهمة. إذا ظلّت المهمة فاشلة بعد كل المحاولات، تُسجَّل في قائمة «المهام الفاشلة» حتى يتجنّب المنهج اقتراح مهام تتجاوز قدرات الوكيل الحالية.

من أهم قرارات التصميم في Voyager: الكود كفضاء أفعال — أي أن الوكيل يتصرّف بكتابة برامج بدلاً من إصدار أوامر حركية بدائية. في التعلّم المعزّز التقليدي، الوكيل يعمل بأفعال من نوع «تقدّم خطوة» أو «انعطف» أو «انقر». لبناء سلوك معقّد من هذه البدائيات، يحتاج مئات القرارات المتتابعة، وعليه أن يُعيد تعلّم التسلسل كاملاً في كل مهمة.

Voyager يعمل بشكل مختلف: يكتب برامج JavaScript تستدعي واجهة Mineflayer. برنامج مهارة واحد قد يحتوي حلقات وشروطاً واستدعاءات دوال ومعالجة أخطاء — كل ذلك في أسطر قليلة. مثلاً، «استخرج 3 خامات حديد» هو برنامج متكامل يتنقّل إلى الخام ويستخرجه ويفحص المخزون ويُكرّر حتى يجمع 3.

لهذا الخيار ثلاث مزايا كبيرة. البرامج ممتدة زمنياً: مهارة واحدة تختصر دقائق من اللعب. البرامج قابلة للتفسير: يستطيع إنسان أن يقرأ الكود ويفهم بالضبط ما يحدث. والبرامج تركيبية: المهارات المعقّدة تستدعي مهارات أبسط كإجراءات فرعية بشكل طبيعي.

قُورن Voyager بثلاث طرق أساسية — ReAct وReflexion وAutoGPT — في أربعة محاور داخل ماينكرافت. النتائج تُظهر بوضوح ما يحدث حين يمتلك الوكيل ذاكرة مهارات تتراكم مع الوقت:

الاستكشاف: اكتشف Voyager 63 عنصراً فريداً خلال 160 تكراراً، أي 3.3 أضعاف ما حقّقه أفضل منافس. الطرق الأساسية تصل بسرعة إلى سقف وتبدأ بتكرار سلوكيات معروفة، بينما Voyager يواصل الاكتشاف لأن منهجه يدفعه نحو الجديد ومكتبته تُتيح له أفعالاً أكثر تعقيداً.

شجرة التقنيات: في ماينكرافت، صناعة الأدوات تتبع تسلسلاً هرمياً — خشبي ← حجري ← حديدي ← ماسي. Voyager أنهى المستوى الخشبي أسرع بـ 15.3 مرة، والحجري بـ 8.5 مرة، والحديدي بـ 6.4 مرة، وكان الوكيل الوحيد الذي بلغ المستوى الماسي. الطرق الأخرى ببساطة لم تستطع تركيب المهارات المتعدّدة الخطوات المطلوبة.

تغطية الخريطة: تنقّل Voyager مسافات أطول بـ 2.3 مرة، مستكشفاً مناطق بيئية متنوعة (صحارى وغابات وجبال) بينما ظلّت الطرق الأساسية محصورة في نطاق محلي ضيّق.

النقل دون أمثلة: حين نُقل Voyager إلى عالم جديد تماماً بمخزون فارغ، استعان بمكتبة مهاراته لحلّ مهام لم يُصادفها أثناء التدريب (مثل «احصل على فأس ماسي»). الطرق الأساسية لم تُنجز أيّاً منها خلال 50 محاولة. واللافت أن مجرد تسليم مكتبة Voyager لـ AutoGPT رفع أداءه — المكتبة تعمل كمكوّن قابل للتوصيل مباشرة.

أجرى الباحثون دراسات استئصال لقياس أثر كل مكوّن على حدة، وتبيّن أن الثلاثة ضرورية:

حذف المنهج التلقائي واستبداله بقائمة ثابتة يُسقط الأداء بحدّة — الوكيل لا يستطيع التكيّف مع بيئته ويُهدر المحاولات على مهام لا تُلائم وضعه.

حذف مكتبة المهارات يعني أن الوكيل يبدأ من الصفر كل مرة. بلا قدرة على استرجاع برامج سبق أن أتقنها وتركيبها، تظلّ المهام المعقّدة بعيدة المنال.

حذف التحقّق الذاتي يُلوّث المكتبة ببرامج معطوبة وناقصة. الوكيل يحفظ مهارات لا تعمل فعلاً، ثم تفشل المهام اللاحقة التي تستدعيها بشكل متسلسل — كحجر دومينو.

وأيضاً، استبدال GPT-4 بـ GPT-3.5 في توليد الكود يُخفّض الأداء بوضوح، وهذا يؤكّد أن جودة النموذج اللغوي الأساسي عامل حاسم في إنتاج برامج صحيحة ومعقّدة.

الإسهام الأعمق لـ Voyager ليس مرتبطاً بماينكرافت تحديداً، بل هو نمط بنيوي عام. الثلاثية — منهج يقترح المهام، ومكتبة تحفظ الحلول، ومُحقّق يضمن الجودة — تصلح كمخطط لأي وكيل يتعلّم على المدى الطويل. البنية ذاتها يمكن أن تُشغّل مساعد برمجة يبني مكتبة أنماط كود متنامية، أو نظاماً روبوتياً يُراكم مهارات مناولة، أو وكيل بحثياً يُركّب استراتيجيات استقصاء.

الفكرة المحورية هي فصل تخزين المعرفة عن معاملات النموذج. حين تُحفظ المهارات خارجياً ككود في قاعدة بيانات قابلة للاسترجاع، يُحقّق Voyager ما تعجز عنه الشبكات العصبية وحدها: لا ينسى شيئاً، ويتراكم باستمرار، ومعرفته تنتقل بين البيئات.