Autonomous Agents2023متوسط11 دقيقة قراءة

WebArena: بيئة ويب واقعية لبناء وكلاء مستقلّين

WebArena: A Realistic Web Environment for Building Autonomous Agents

Zhou, S. · Xu, F. F. · Zhu, H. · Zhou, X. · Lo, R. · Sridhar, A. · Cheng, X. · Ou, T. · Bisk, Y. · Fried, D. · Alon, U. · Neubig, G. — ICLR

المشكلة

حتى عام 2023، كان اختبار وكلاء الويب يجري شبه حصرياً في بيئات اصطناعية مبسّطة تُجرّد المواقع من تعقيدها الحقيقي. هذه البيئات كانت تفتقر إلى محتوى واقعي وتنوّع حقيقي في أنواع المهام وآلية تقييم وظيفية — فمعظم المعايير كانت تقارن تسلسل الأفعال حرفاً بحرف دون أن تسأل: هل أُنجزت المهمة فعلاً؟ المحصّلة أن وكلاء بدت كفؤة في بيئة المختبر انهارت تماماً أمام أي شيء يشبه الاستخدام الحقيقي للإنترنت.

الإسهام

WebArena: بيئة ويب مستقلة قابلة للاستضافة الذاتية تضمّ أربعة مواقع تعمل بالكامل (تجارة إلكترونية، منتدى اجتماعي، GitLab، نظام إدارة محتوى)، إلى جانب أدوات مساعدة (خريطة، آلة حاسبة، مسودّة) وقواعد معرفية (ويكيبيديا، أدلة استخدام). يرافقها معيار مرجعي من 812 مهمة متنوعة طويلة الأفق تُقيَّم — أي بفحص الحالة النهائية لا بمطابقة تسلسل الأفعال لقالب مرجعي. أفضل مبني على GPT-4 لم يتجاوز 14.41% مقابل 78.24% للبشر.

الأثر

تحوّل WebArena إلى الرئيسي لتقييم وكلاء الويب المستقلّين، وتفرّعت عنه مشاريع مثل VisualWebArena وWebArena-Lite وTheAgentCompany، كما أشعل موجة من الأبحاث حول بنيات الوكلاء امتدّت من WebRL إلى AgentLab. أحدثت فلسفة التقييم بالصحة الوظيفية تحوّلاً في طريقة قياس قدرات الوكلاء، فانتقل التركيز من مطابقة الأفعال إلى فحص النتائج. وكشف هذا المعيار عن فجوة ضخمة بين ما تستطيعه النماذج اللغوية الكبيرة وبين متطلبات مهام الويب الحقيقية.

تخيّل أنك عيّنت مساعداً شخصياً ثم اختبرته في مكتب فارغ بأدوات مزيّفة: هاتف من بلاستيك، وشاشة كمبيوتر من ورق مقوّى، وثلاثة ملفات كرتونية. المساعد يحفظ السيناريو حرفياً وينفّذه بلا خطأ. لكن ما إن ترسله إلى مكتب حقيقي — هواتف ترنّ من كل اتجاه، وبريد مكتظّ، وصلاحيات لا يملكها، وعملاء يصيغون طلباتهم بطرق لم يتدرّب عليها — حتى يتجمّد تماماً.

ما يفعله WebArena هو استبدال هذا المكتب الكرتوني بـمبنى مجهّز بالكامل: متجر إلكتروني يعمل فعلاً، ومنتدى نقاش حيّ، ونسخة حقيقية من GitLab، ولوحة تحكّم لإدارة المحتوى — وكلها مملوءة ببيانات تُحاكي الواقع. عندها فقط يصبح الاختبار صادقاً.

المشكلة: البيئات المصطنعة تُنتج وكلاء مصطنعين

قبل ظهور WebArena، كانت المعايير المرجعية المستخدمة لتقييم وكلاء الويب تعاني من ثلاث مشكلات بنيوية. المشكلة الأولى أن كانت مبسّطة أكثر من اللازم: المواقع لا تتضمّن إلا شريحة ضئيلة من الوظائف الحقيقية، فجاءت المهام قصيرة ومكرّرة — انقر زراً، املأ حقلاً، انتهى الأمر. المشكلة الثانية أن كثيراً من هذه البيئات كانت لقطات ثابتة مسبقة التخزين، أي أن الوكيل لا يستطيع زيارة إلا صفحات محفوظة سلفاً، مما يُغلق الباب أمام أي حرّ. أما المشكلة الثالثة فهي أن التقييم كان يعتمد على مطابقة تسلسل الأفعال: لو أن الوكيل وصل إلى الهدف بخطوات مختلفة عن المرجع لكنها صحيحة تماماً، يُحكَم عليه بالخطأ.

هذه القيود ولّدت وَهماً خطيراً: وكيل يحصد درجة عالية في معيار مبسّط قد ينهار كلّياً على الويب الحقيقي. والسبب أن الويب الحقيقي يحتاج تخطيطاً متعدد الخطوات عبر صفحات مختلفة، وفهماً لتعليمات غامضة، واستخداماً لأدوات كالخرائط والآلات الحاسبة، وقدرةً على التعافي من الأخطاء، بل ومعرفةً بأن بعض المهام مستحيلة أصلاً.

افتح في المختبر

استكشف المجالات الأربعة لمواقع WebArena ومقابلاتها في العالم الحقيقي. انقر على كل مجال لرؤية أمثلة على المهام.

تستيقظ التجربة عند وصولك…

البيئة: إنترنت مصغّر داخل حاوية Docker

الفكرة الجوهرية في WebArena هي أن الواقعية وقابلية إعادة الإنتاج لا يتناقضان. البيئة مُستضافة ذاتياً بالكامل عبر حاويات Docker، فلا اعتماد على مواقع حيّة تتغيّر يومياً. ورغم ذلك فكل موقع بداخلها مبنيّ من المكتبات مفتوحة المصدر ذاتها التي تُشغّل المواقع الحقيقية، ومحشوّ ببيانات مستمدّة من نظيراتها الواقعية.

اختار المؤلفون أربع فئات من المواقع بناءً على تحليل سجلات تصفّحهم اليومية: (1) تجارة إلكترونية (OneStopShop، على غرار Amazon وeBay)، (2) منتديات اجتماعية (على غرار Reddit وStackExchange)، (3) تطوير تعاوني (GitLab)، و(4) إدارة محتوى (نظام CMS لإدارة متجر إلكتروني). وبالإضافة إلى المواقع، يوفّر WebArena أدوات مساعدة — خريطة وآلة حاسبة ومسودّة — وموارد معرفية تمتدّ من ويكيبيديا إلى أدلة استخدام متخصّصة بكل مجال.

على المستوى الرسمي، تُعرَّف البيئة بالرباعي ℰ = ⟨S, A, O, T⟩ حيث S هو فضاء الحالات، وA هو ، وO هو ، وT دالة انتقال حتمية يحدّدها تنفيذ كل موقع. عند تلقّي نيّة بلغة طبيعية i، يُراقب الوكيل الصفحة الحالية ويختار فعلاً، فتنتقل البيئة إلى حالة جديدة.

\mathcal{E} = \langle \mathcal{S}, \mathcal{A}, \mathcal{O}, \mathcal{T} \rangle, \quad a_t = \pi(\mathbf{i}, o_t, \mathbf{a}_{1}^{t-1}, \mathbf{o}_{1}^{t-1})

صياغة بيئة WebArena — سياسة الوكيل π تختار الفعل a_t بناءً على النيّة i والمشاهدة الحالية o_t وسجلّ الأفعال والمشاهدات الكامل. دالة الانتقال T حتمية — معرَّفة بشيفرة الموقع الأساسية.

فضاء المشاهدة والأفعال: كيف يرى الوكيل الويب ويتفاعل معه

فضاء المشاهدة يُحاكي ما يراه المستخدم في المتصفّح: عنوان URL، والتبويبات المفتوحة، ومحتوى الصفحة في التبويب النشط. WebArena هو أول معيار مرجعي للويب يدعم مهام متعددة التبويبات، مما يُتيح للوكيل استخدام أدوات والتنقّل بين صفحات مختلفة في الوقت نفسه — تماماً كما يفتح الإنسان خريطة في تبويب ومحرّر شيفرة في آخر. يمكن تمثيل محتوى الصفحة بثلاث طرق: شجرة DOM الخام، أو لقطة شاشة (مصفوفة بكسلات RGB)، أو — وهي نسخة مضغوطة ومنظّمة من DOM تحتفظ بالعناصر المهمّة مع أدوارها ونصوصها وخصائصها فقط.

أما فضاء الأفعال فيحاكي عمليات لوحة المفاتيح والفأرة، وينقسم إلى ثلاث مجموعات: (1) عمليات العناصر — كالنقر والتمرير والكتابة واختصارات لوحة المفاتيح؛ (2) إدارة التبويبات — فتح تبويب جديد أو إغلاقه أو التبديل بينها؛ و(3) التنقّل عبر العناوين — زيارة عنوان URL أو الرجوع أو التقدّم. لتحديد العنصر المستهدف، يمكن استخدام إحداثيات الشاشة (x, y) أو معرّف فريد يُلصَق بكل عقدة في شجرة DOM أو شجرة الوصول، وهذا يحوّل مسألة اختيار العنصر إلى تصنيف بين n خياراً ويُزيل أيّ غموض.

افتح في المختبر

استكشف فئات الأفعال الثلاث المتاحة للوكيل في WebArena. انقر كل فئة لرؤية الأفعال التفصيلية.

تستيقظ التجربة عند وصولك…

المعيار المرجعي: 812 مهمة يؤدّيها البشر فعلاً على الإنترنت

يحتوي المعيار المرجعي على 812 مهمة مُولَّدة من 241 قالباً، بمعدّل 3.3 أمثلة لكل قالب. كل مهمة عبارة عن نيّة عامّة بلغة طبيعية — وليست سيناريو يُملي الخطوات واحدة تلو الأخرى. تنقسم المهام إلى ثلاث فئات:

البحث عن معلومات — مهام تنتظر من الوكيل إجابة نصّية، وغالباً تستلزم التنقّل بين عدّة صفحات. مثال: «متى اشتريتُ الشامبو آخر مرة؟»
التنقّل داخل الموقع — مهام تطلب من الوكيل تحديد معلومة بعينها أو الوصول إلى قسم معيّن مستعيناً بالبحث والروابط والمرشّحات. مثال: «اعرض طلبات الدمج المُسندة إليّ.»
المحتوى والإعدادات — مهام تُغيّر حالة البيئة نفسها: كنشر محتوى أو ضبط إعدادات أو إجراء عملية شراء أو تحرير ملفات. مثال: «انشر سؤالاً عمّا إذا كنت أحتاج سيارة في نيويورك.»

النقطة الجوهرية أن المهام مصمَّمة لتكون مجرّدة وعالية المستوى بحيث تحتاج تنفيذاً متعدد الخطوات، وإبداعية بقيود إضافية تجعل كل مهمة فريدة، وقالبية بمتغيّرات قابلة للاستبدال لتوليد نُسَخ متعددة. بل إن بعض المهام مستحيلة عمداً — والإجابة الصحيحة أن يتعرّف الوكيل على الاستحالة ويتوقّف، وهذا يختبر : هل يعرف حدود ما يستطيع إنجازه؟

افتح في المختبر

انقر كل فئة لترى توزيع المهام وأمثلة على النوايا من كل فئة.

تستيقظ التجربة عند وصولك…

التقييم: هل أُنجزت المهمة فعلاً؟

آلية التقييم في WebArena تختلف جذرياً عمّا سبقها. الفكرة بسيطة: بدلاً من مقارنة تسلسل أفعال الوكيل بمرجع ثابت، نسأل عن النتيجة الفعلية — هل حقّق ما كان مطلوباً منه؟

في مهام البحث عن المعلومات، تُقارَن الإجابة المتوقّعة â بالإجابة المرجعية a* عبر ثلاث دوال: exact_match (تطابق حرفي تام)، وmust_include (â يجب أن تحتوي a*)، وfuzzy_match (حيث يحكم على التكافؤ الدلالي بين الإجابتين — وقد أثبتت الورقة أن دقّته شبه مثالية).

أما في مهام التنقّل والمحتوى، فتتولّى دوال برمجية r_prog(s) فحص الحالات الوسيطة — قاعدة بيانات الموقع وعنوان URL ومحتوى DOM — للتأكّد من النتيجة. يعمل محدّد الموقع على استرجاع المحتوى الحرج (عبر استعلام قاعدة بيانات أو استدعاء API أو شيفرة JavaScript)، ثم تتحقّق أدوات التصديق من تطابق ذلك المحتوى مع النيّة. هذا النهج يقبل أي مسار صحيح يوصل إلى الهدف، لا مساراً مرجعياً وحيداً.

لماذا تهمّ الصحة الوظيفية

تخيّل وكيلين يحاولان نشر رسالة في منتدى. الوكيل الأول ينقر «منشور جديد» من الشريط الجانبي، والثاني يستخدم اختصار لوحة المفاتيح. كلاهما نجح في المهمة، لكن مقيّماً يعتمد على مطابقة الأفعال سيعتبر الثاني مخطئاً لأن خطواته تختلف عن الأول. الصحة الوظيفية تنظر إلى النتيجة مباشرة — هل المنشور موجود في المنتدى الصحيح وبالمحتوى المطلوب؟ هذه هي الطريقة التي يقيّم بها البشر عمل بعضهم، وهي الطريقة الوحيدة المنصفة لتقييم الوكلاء.

الوكلاء المرجعيون: حين نوجّه النماذج اللغوية لتصفّح الويب

اختبرت الورقة ثلاثة — GPT-4 وGPT-3.5 وPaLM-2 — بأسلوب مع مثالين توضيحيين (). كل وكيل يتلقّى تفصيلياً يصف بيئة المتصفّح والأفعال المسموحة والقواعد — وهو عملياً نفس الإرشادات التي أُعطيت للمُعلّقين البشريين.

جرى تقييم استراتيجيتين: (1) التنبؤ المباشر بالفعل — يتنبّأ النموذج بالفعل التالي انطلاقاً من النيّة والمشاهدة الحالية (شجرة الوصول) وسجلّ الأفعال السابقة. (2) (CoT) — يكتب النموذج استدلاله أولاً ثم يختار الفعل، على طريقة ReAct التي تمزج بين التفكير والتنفيذ بالتناوب.

وللتعامل مع المهام المستحيلة، يتضمّن التوجيه «تلميح الاستحالة» (UA hint) الذي يطلب من الوكيل صراحةً أن يتوقّف إن قدّر أن المهمة غير قابلة للتنفيذ. المشاهدة تعتمد على أشجار الوصول مع معرّفات رقمية لكل عنصر، فيصدر الوكيل أوامر من قبيل click [1582] للتفاعل مع العناصر.

حلقة وكيل WebArena — راقب ثم استدلّ ثم نفِّذpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

def agent_loop(env, intent, model, max_steps=30):
    """الحلقة الأساسية: راقب الصفحة، استدلّ، نفِّذ فعلاً، كرِّر."""
    obs = env.reset()           # المشاهدة الأولى (شجرة الوصول)
    history = []

    for step in range(max_steps):
        # بناء التوجيه: النيّة + المشاهدة الحالية + سجل الأفعال
        prompt = build_prompt(intent, obs, history)

        # النموذج يتنبأ: استدلال اختياري + الفعل التالي
        response = model.generate(prompt)    # مثل: "يجب أن أنقر شريط البحث"
        action = parse_action(response)      # مثل: click [42]

        if action == "stop":                 # الوكيل يقرر أن المهمة انتهت
            answer = extract_answer(response)
            return answer

        # تنفيذ الفعل في البيئة
        obs, done = env.step(action)         # حالة الصفحة الجديدة
        history.append((action, obs))

        if done:
            break

    return None  # انتهى الوقت

# التقييم: الصحة الوظيفية وليس مطابقة تسلسل الأفعال
# r_info(â, a*) لمهام المعلومات: exact_match / must_include / fuzzy_match
# r_prog(s)    لمهام المحتوى: فحص حالة الموقع برمجياً

النتائج: فجوة تدعو للتواضع

النتائج رسمت صورة صادمة. أفضل وكيل — GPT-4 مع سلسلة التفكير وتلميح الاستحالة — لم يتجاوز معدّل نجاح 14.41%، في مقابل 78.24% للمُعلّقين البشريين. وحتى ضمن هذه الـ14% يتذبذب الأداء بشدّة بين الفئات: GPT-4 يتدبّر بعض مهام البحث عن المعلومات بشكل مقبول، لكنه يتعثّر كثيراً في مهام تعديل المحتوى التي تستلزم سلاسل طويلة من الأفعال الدقيقة.

أبرز ما كشفه التحليل:

سلسلة التفكير تُحدث فرقاً، وتضيف نحو 3–5 نقاط مئوية في معظم الإعدادات — فخطوة الاستدلال تمنح النموذج فرصة للتخطيط قبل التنفيذ.
النماذج لا تعرف متى تتوقّف. بدون تلميح الاستحالة، نادراً ما يكتشف الوكيل أن المهمة مستحيلة. وحتى مع التلميح، يظلّ الأداء على هذه المهام ضعيفاً.
الاتساق هشّ. مهام مولَّدة من القالب نفسه (نيّة متشابهة، مهارة واحدة) تُظهر تبايناً عالياً — الوكيل قد ينجح في نسخة ويفشل في أخرى، مما يكشف عن فهم سطحي لا عميق.
GPT-3.5 وPaLM-2 أداؤهما أضعف بفارق كبير، وغالباً ما يقعان تحت عتبة الـ10%. والمفارقة أن الفجوة بين GPT-4 والنماذج الأصغر أكبر من الفجوة بين GPT-4 والبشر أنفسهم.

افتح في المختبر

قارن معدلات نجاح الوكلاء عبر النماذج واستراتيجيات التوجيه. مرّر المؤشر على الأعمدة لرؤية التفاصيل.

تستيقظ التجربة عند وصولك…

لماذا يفشل الوكلاء: القدرات الغائبة

رصدت الورقة عدّة أنماط فشل تُفسّر الهوّة الواسعة بين البشر والوكلاء:

غياب الاستكشاف النشط. حين يُسَدّ المسار المباشر، يعود الإنسان للخلف ويجرّب بدائل. لكن وكلاء النماذج اللغوية يميلون إلى تكرار الأفعال الفاشلة نفسها أو الاستسلام ببساطة — ينقصهم القدرة على استكشاف البيئة بفاعلية.
غياب التعافي من الأخطاء. نقرة في المكان الخطأ أو انتقال إلى صفحة غير مقصودة يُدخل الوكيل في دوّامة. ومن دون آلية لاكتشاف الخطأ وتصحيح المسار، تتراكم الأخطاء الصغيرة حتى تنهار المهمة بالكامل.
انحياز المشاهدة. الوكلاء يركّزون على الأجزاء الأكثر بروزاً في الصفحة — عادةً أعلاها — ويُفوّتون معلومات مهمّة في أماكن أخرى. في أشجار الوصول يظهر هذا بوضوح: الوكيل ينتبه للعناصر الأولى ويتجاهل ما هو أسفل الشجرة.
سوء فهم التعليمات. نيّة عالية المستوى مثل «قارن وقت المشي ووقت القيادة» تحتاج إلى تفكيك لمهام فرعية، وهذا ما يُخطئ فيه الوكيل غالباً — قد يجد أحد الزمنين وينسى الآخر، أو يخلط بين المسافة والوقت.

ماذا فتح WebArena من أبواب

2023
WebArena
812 مهمة ويب واقعية، 4 مواقع تعمل بالكامل، تقييم بالصحة الوظيفية. GPT-4 عند 14.41% مقابل البشر عند 78.24%.
2024
VisualWebArena
وسّع WebArena ليشمل الفهم البصري — على الوكلاء الآن معالجة لقطات الشاشة والصور، وليس فقط أشجار الوصول النصّية.
2024
WebArena-Lite
مجموعة مختارة من 165 مهمة عالية الجودة من WebArena لتقييم أسرع وأكثر موثوقية. تبنّاها WebRL وأُطر وكلاء أخرى على نطاق واسع.
2024
AgentLab و BrowserGym
إطار موحّد لتجارب التنقّل على الويب يدعم التشغيل المتوازي ومعايير مرجعية متعددة ولوحة ترتيب موحّدة.
2024
TheAgentCompany
وسّع نموذج WebArena ليشمل استخدام الطرفية ومهام البرمجة — أفعال واقعية ذات أثر أكبر.

الإرث الأعمق لـ WebArena هو فلسفة التقييم التي أرساها. قبله، كانت معايير وكلاء الويب تتعامل مع دقّة تسلسل الأفعال وكأنها مقياس للكفاءة. بعده، انتقل المجال إلى سؤال مختلف: هل انتهى الموقع في الحالة الصحيحة؟ هذا النموذج يشبه طريقة هندسة البرمجيات في تقييم الشيفرة — هل تجتاز الاختبارات؟ — لا تقييم النثر — هل تقرأ مثل الحل المرجعي؟ وقد كشف المعيار أيضاً أن الفجوة بين قدرات النماذج اللغوية الكبيرة والتفاعل الحقيقي مع الويب ليست مجرّد فجوة كبيرة — بل فجوة بنيوية، جذورها في قدرات مفقودة كـالاستكشاف والتعافي من الأخطاء والتوقّف في اللحظة المناسبة.

المرجعZhou, Xu, Zhu, Zhou, Lo, Sridhar, Cheng, Ou, Bisk, Fried, Alon, Neubig. WebArena: A Realistic Web Environment for Building Autonomous Agents. ICLR, 2024.

مصطلحات هذه الورقة