السَّمْت

Advanced LLMs & Reasoning2023متوسط11 دقيقة قراءة

شجرة الأفكار: الحل المتأنّي للمسائل باستخدام النماذج اللغوية الكبيرة

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

Yao, S. · Yu, D. · Zhao, J. · Shafran, I. · Griffiths, T. L. · Cao, Y. · Narasimhan, K. — NeurIPS

المشكلة

النماذج اللغوية الكبيرة تولّد النص رمزاً بعد رمز في اتجاه واحد، وكل خيار تتخذه يصبح نهائياً لا رجعة فيه. هذا الأسلوب أشبه بالتفكير التلقائي السريع — ما يُعرف بالنظام 1 — وهو يكفي لإنتاج نص سلس، لكنه يعجز تماماً أمام المسائل التي تحتاج استكشافاً وتجريباً وتراجعاً عن قرارات خاطئة: ألغاز رياضية متعددة الخطوات، كتابة إبداعية مقيّدة بشروط، حل كلمات متقاطعة. أسلوب يحسّن الوضع بإضافة خطوات وسيطة، لكنه يظل مساراً خطياً واحداً — لا تفرّع، لا مقارنة بين بدائل، ولا إمكانية للتراجع. والدليل: حين يستخدم GPT-4 سلسلة التفكير في لعبة 24، لا يحل سوى 4% من الألغاز.

الإسهام

(ToT): إطار عام يسمح للنماذج اللغوية باستكشاف عدة مسارات استدلال في الوقت نفسه، منظَّمة على هيئة شجرة. كل عقدة في الشجرة تمثّل «فكرة» — أي مقطع نصي متماسك يشكّل خطوة وسيطة نحو الحل. الفكرة المحورية أن النموذج اللغوي نفسه يقوم بدورين: يولّد الأفكار المرشحة ثم يقيّمها ذاتياً عبر توجيهات تقييم أو تصويت. بعد ذلك تتولّى خوارزمية بحث — سواء بالعرض أو بالعمق — التنقل في الشجرة مع القدرة على التراجع عند الحاجة. كل هذا يتم بالتوجيه فقط دون أي إضافي. في لعبة 24 مثلاً، يقفز معدل نجاح GPT-4 من 4% إلى 74%.

الأثر

مدّ ToT جسراً بين تقنيات البحث في الذكاء الاصطناعي الكلاسيكي والنماذج اللغوية الحديثة، وبرهن أن التفكير المتأنّي المنظّم — على طريقة النظام 2 — يُحدث فرقاً كبيراً في قدرات الاستدلال. بعد نشر الورقة، ظهرت موجة من أساليب الاستدلال المبنية على بحث الأشجار، والأهم أن الفكرة مهّدت مباشرة لمفهوم توسيع الذي تقوم عليه أنظمة مثل OpenAI o1. كما أن نمط استخدام النموذج اللغوي بوصفه مولّداً ومقيّماً في آنٍ واحد داخل حلقة بحث أصبح نمطاً تصميمياً راسخاً في بناء أنظمة الذكاء الاصطناعي الوكيلية.

تخيّل أنك تلعب شطرنجاً. المبتدئ يختار أول نقلة تبدو معقولة ويتمنى الأفضل — هذا يشبه التوجيه المباشر. لاعب أفضل قليلاً يفكّر لعدة نقلات للأمام في خط واحد — وهذا يشبه سلسلة التفكير. أما اللاعب المحترف فيدرس عدة افتتاحيات، يتتبّع كل فرع ذهنياً لعدة نقلات، يستبعد الخطوط الميؤوس منها، ثم يعود ليجرّب تنويعة أخرى — وهذا بالضبط ما تفعله شجرة الأفكار.

الفكرة الجوهرية هنا: بدلاً من الالتزام بمسار استدلال واحد، يحتفظ النموذج بـشجرة كاملة من الاحتمالات، يقيّم كل فرع منها، ثم يتّجه نحو الحل الأكثر وعداً.

المشكلة: النماذج اللغوية تفكّر في خطوط مستقيمة

النماذج اللغوية تعمل بطريقة — كل يُنتَج بناءً على الرموز التي سبقته فقط، ولا سبيل للعودة بعد اتخاذ القرار. هذا الأسلوب يكفي لمحادثة عادية، لكنه يفشل فشلاً ذريعاً في المسائل التي تحتاج تجريباً واستكشافاً.

خذ لعبة 24 مثالاً: لديك أربعة أرقام والمطلوب دمجها بعمليات حسابية للوصول إلى 24. لو كان المدخل «4 9 10 13»، قد يبدأ النموذج بـ «4 + 9 = 13» — فيحبس نفسه فوراً في طريق مسدود لأن تكرار الرقم 13 يخرق القواعد. الإنسان ببساطة يجرّب خطوة أولى مختلفة، لكن النموذج لا يملك هذه الرفاهية.

يعالج جزءاً من المشكلة بأن يدفع النموذج لتوليد خطوات استدلال وسيطة. لكن المسار يظل خطياً واحداً بلا تفرّع. يتقدّم خطوة بأخذ عدة عيّنات ثم التصويت للإجابة الأكثر تكراراً — لكن داخل كل سلسلة على حدة لا يحدث أي استكشاف محلي، والتصويت لا ينفع إلا حين يكون فضاء الإجابات محدوداً كالاختيار من متعدد.

الورقة تستلهم نظرية العمليات المزدوجة من علم النفس المعرفي: النماذج اللغوية تعمل في وضع — التفكير السريع التلقائي — لكن كثيراً من المسائل تحتاج الاستكشاف المتأنّي المنظّم الذي يميّز .

افتح في المختبر
قارِن بين أربعة أساليب — التوجيه المباشر وسلسلة التفكير والاتّساق الذاتي وشجرة الأفكار — في طريقة تعاملها مع حل المسائل. انقر على كل أسلوب لترى بنية الاستدلال الخاصة به.
تستيقظ التجربة عند وصولك…

الإطار: أربعة قرارات تصميمية

الفكرة الأساسية في ToT أنه يحوّل أي مسألة إلى بحث في شجرة. كل عقدة في الشجرة تمثّل حالة s=[x,z1,…,zi]s = [x, z_1, \ldots, z_i]، أي المدخل الأصلي مضافاً إليه الأفكار التي وُلِّدت حتى الآن. لبناء نظام ToT، عليك اتخاذ أربعة قرارات تصميمية:

1. تفكيك الأفكار — ما الحجم المناسب لكل «فكرة»؟ قد تكون كلمة واحدة كما في الكلمات المتقاطعة، أو سطر معادلة كما في لعبة 24، أو فقرة تخطيطية كاملة في الكتابة الإبداعية. المفتاح هو إيجاد حجم صغير بما يكفي ليولّد النموذج خيارات متنوعة، وكبير بما يكفي ليستطيع تقييم كل خيار بشكل ذي معنى.

2. توليد الأفكار — كيف ننتج الأفكار المرشّحة للخطوة التالية؟ هناك طريقتان: (أ) أخذ عيّنات مستقلة من توجيه سلسلة التفكير، وهذا يناسب الحالات التي يكون فيها فضاء الأفكار واسعاً كتخطيط الفقرات. أو (ب) اقتراح دفعة واحدة عبر توجيه يطلب من النموذج سرد عدة مرشحات معاً، وهذا أنسب حين يكون الفضاء محدوداً كخطوات المعادلات.

3. تقييم الحالات — كيف نحدّد أي الحالات تستحق المتابعة؟ طريقتان أيضاً: (أ) تقييم كل حالة على حدة بتوجيه النموذج ليصنّفها «مؤكدة / محتملة / مستحيلة»، أو (ب) التصويت بين حالات متعددة بأن نطلب من النموذج مقارنتها واختيار الأفضل. في كلتا الحالتين، النموذج اللغوي يلعب دور الدالة الاستدلالية — وهي دالة مرنة لا تحتاج تدريباً مسبقاً وأكفأ عيّنياً من المقيّمات المُتعلَّمة.

4. خوارزمية البحث — كيف نتنقّل في الشجرة؟ الورقة تجرّب خوارزميتين: البحث بالعرض أولاً (BFS) الذي يحتفظ بأفضل b حالة عند كل مستوى عمق، والبحث بالعمق أولاً (DFS) الذي يغوص عميقاً في فرع واحد لكنه يتراجع حين يحكم المقيِّم أن الحالة ميؤوس منها.

افتح في المختبر
استكشف كيف تُبنى شجرة الأفكار وكيف يجري التنقّل فيها. انقر على أي عقدة لتوسيعها أو تقييمها أو تقليم فرعها.
تستيقظ التجربة عند وصولك…

الوصف الرياضي

قبل الدخول في الصيغ الرياضية، لنفهم أولاً ماذا تصف. في التوجيه المباشر، النموذج يأخذ المدخل xx ويُنتج المخرج yy مباشرة دون خطوات وسيطة. سلسلة التفكير تضيف أفكاراً وسيطة z1,…,znz_1, \ldots, z_n تُولَّد واحدة تلو الأخرى في مسار واحد. شجرة الأفكار تعمّم الفكرة: عند كل خطوة تولّد عدة أفكار مرشحة وتقيّمها، ثم تستخدم خوارزمية بحث لتحديد أي الفروع يستحق الاستكشاف.

y∼pθIO(y∣x)y \sim p_\theta^{\text{IO}}(y \mid x)
التوجيه المباشر — من المدخل إلى المخرج مباشرة — أبسط الأساليب: النموذج يحوّل المدخل x إلى المخرج y دفعة واحدة، مسترشداً بتعليمات المهمة أو بأمثلة قليلة فقط.
zi∼pθCoT(zi∣x,z1…i−1),y∼pθCoT(y∣x,z1…n)z_i \sim p_\theta^{\text{CoT}}(z_i \mid x, z_{1 \ldots i-1}), \quad y \sim p_\theta^{\text{CoT}}(y \mid x, z_{1 \ldots n})
سلسلة التفكير — سلسلة استدلال متتابعة واحدة — كل فكرة ziz_i تُولَّد بناءً على المدخل وجميع الأفكار التي سبقتها. المخرج النهائي يعتمد على السلسلة بأكملها. يمكن تصوّر هذا كشجرة بعمق n وعرض 1 — أي مسار واحد فقط.
St′={[s,z]∣s∈St−1,  z∈G(pθ,s,k)},St=arg⁡ ⁣max⁡S⊂St′, ∣S∣=b∑s∈SV(pθ,St′)(s)S'_t = \{[s, z] \mid s \in S_{t-1},\; z \in G(p_\theta, s, k)\}, \quad S_t = \arg\!\max_{S \subset S'_t,\, |S|=b} \sum_{s \in S} V(p_\theta, S'_t)(s)
ToT-BFS — البحث بالعرض أولاً عبر حالات الأفكار — في كل خطوة t، نأخذ كل حالة موجودة في الحدود الأمامية ونوسّعها بتوليد k فكرة مرشحة عبر المولّد G. بعدها نقيّم جميع الحالات الناتجة بدالة القيمة V ونحتفظ فقط بأفضل b حالة. نكرّر العملية حتى العمق T، ثم نستخلص الإجابة من أفضل حالة وصلنا إليها.

البحث بالعرض أولاً مقابل البحث بالعمق أولاً: اختيار البحث المناسب

الاختيار بين الخوارزميتين يتوقف على طبيعة المسألة نفسها:

البحث بالعرض أولاً (استُخدم في لعبة 24 والكتابة الإبداعية) يحتفظ بأفضل b حالة عند كل مستوى من الشجرة. يعمل بكفاءة حين تكون الشجرة ضحلة — أي أن الحل يبعد خطوات قليلة — والتقليم المبكر يمكن الاعتماد عليه. تخيّله كحزمة من المسارات الواعدة تسير معاً، تماماً مثل في الترجمة الآلية لكن على مستوى وحدات فكرية كاملة بدلاً من رموز منفردة.

البحث بالعمق أولاً (استُخدم في الكلمات المتقاطعة) يغوص في الفرع الأكثر وعداً حتى النهاية، ويتراجع حين يحكم المقيِّم أن الحالة ميؤوس منها. يناسب المسائل ذات الأشجار العميقة حيث يقع الحل عند ورقة ويمكن كشف الفروع الخاطئة مبكراً. المقايضة واضحة: ذاكرة أقل لكن مع احتمال تفويت حلول على فروع لم تُستكشَف.

نقطة مهمة: شجرة الأفكار هي في الحقيقة تعميم لكل الأساليب السابقة. التوجيه المباشر يقابل شجرة بعمق 1 وعرض 1. سلسلة التفكير عمق n وعرض 1. الاتّساق الذاتي عمق n وعرض k مع تصويت في الخطوة الأخيرة فقط. شجرة الأفكار تفتح المجال لعمق وعرض وتقييم حر عند كل خطوة.

افتح في المختبر
بدِّل بين البحث بالعرض والبحث بالعمق لتشاهد الفرق في طريقة استكشاف كل خوارزمية للشجرة.
تستيقظ التجربة عند وصولك…

الفكرة في الكود

شجرة الأفكار بالبحث بالعرض — حلقة البحث الأساسيةpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

def tot_bfs(x, lm, generate, evaluate, steps=3, beam=5, k=5):
    """شجرة الأفكار بالبحث بالعرض أولاً."""
    # نبدأ بالمدخل فقط كحالة وحيدة
    frontier = [x]

    for step in range(steps):
        # 1. التوسيع: ولِّد k فكرة مرشحة لكل حالة
        candidates = []
        for state in frontier:
            thoughts = generate(lm, state, k)  # مثلاً "اقترح المعادلة التالية"
            for t in thoughts:
                candidates.append(state + " " + t)

        # 2. التقييم: سجِّل كل مرشح عبر التقييم الذاتي للنموذج
        scores = evaluate(lm, candidates)  # مثلاً "مؤكد/محتمل/مستحيل"

        # 3. الاختيار: احتفظ فقط بأفضل b حالة
        ranked = sorted(zip(scores, candidates), reverse=True)
        frontier = [c for _, c in ranked[:beam]]

    # الخطوة الأخيرة: استخلص الإجابة من أفضل حالة
    return generate(lm, frontier[0], 1)[0]

# التوجيه المباشر = tot_bfs(x, steps=0)           ← عمق 0، عرض 1
# سلسلة التفكير   = tot_bfs(x, steps=n, beam=1)   ← عمق n، عرض 1
# الاتّساق الذاتي = 100 سلسلة ثم تصويت الأغلبية   ← بلا تفرّع داخل السلسلة
# شجرة الأفكار    = tot_bfs(x, steps=3, beam=5)   ← بحث شجري كامل

التجارب: ثلاث مهام تتحدى GPT-4

اختار المؤلفون ثلاث مهام صُمّمت تحديداً لكشف نقاط ضعف الاستدلال الخطي:

لعبة 24 — لديك أربعة أرقام والمطلوب إيجاد عمليات حسابية تعطي الناتج 24. المسألة تحتاج 3 خطوات وسيطة. GPT-4 مع سلسلة التفكير لا يحل سوى 4%. شجرة الأفكار مع البحث بالعرض (عرض الحزمة = 5) تصل إلى 74% — أي تحسّن بمقدار 18 ضعفاً. واللافت أن شجرة الأفكار حتى بعرض 1 (بلا تفرّع لكن مع تقييم وتراجع) تحقق 45%.

الكتابة الإبداعية — المطلوب كتابة نص متماسك من 4 فقرات بحيث تنتهي كل فقرة بجملة عشوائية محددة مسبقاً. يعمل ToT هنا بنهج التخطيط ثم الكتابة: يولّد 5 خطط ويصوّت للأفضل، ثم يولّد 5 نصوص من الخطة الفائزة ويصوّت مجدداً. فضّل المقيّمون البشريون نصوص ToT على CoT في 41 من 100 مقارنة، بينما فضّلوا CoT في 21 فقط.

الكلمات المتقاطعة المصغّرة (5×5) — شبكة من 10 أدلّة. يعتمد ToT هنا على البحث بالعمق مع التراجع: يقترح كلمات، يتحقق من إمكانية ملء الأدلّة المتبقية، ويتراجع إن وصل لطريق مسدود. النتيجة: 60% دقة على مستوى الكلمات مقابل 16% لسلسلة التفكير.

افتح في المختبر
نسب النجاح لكل أسلوب في المهام الثلاث. مرِّر المؤشر فوق أي عمود لعرض الأرقام التفصيلية.
تستيقظ التجربة عند وصولك…

لماذا تفشل سلسلة التفكير مبكراً: تحليل الأخطاء

الورقة تتضمن تحليلاً كاشفاً للأخطاء في لعبة 24. تبيّن أن نحو 60% من عيّنات سلسلة التفكير تفشل عند الخطوة الأولى — أي أن الكلمات الثلاث الأولى من السلسلة (مثل «4 + 9») هي التي تحسم مصير المحاولة. فبمجرد أن يختار النموذج بداية سيئة، يصبح الباقي محكوماً بالفشل لأنه لا يملك آلية للتراجع.

شجرة الأفكار تقلب هذه المعادلة. مع عرض حزمة 5، حتى لو فشلت بعض الفروع في الخطوة الأولى، تبقى فروع أخرى حيّة تتقدم إلى الخطوة الثانية وما بعدها. الأخطاء تُكتشف مبكراً وتُقلَّم قبل أن تتراكم. هذه هي الفائدة الجوهرية للبحث المنظّم: الأخطاء تظل محلية ولا تتحوّل إلى كارثة.

شجرة الأفكار كتعميم

من أجمل إسهامات الورقة إثبات أن أساليب التوجيه المعروفة ليست سوى حالات خاصة من شجرة الأفكار:

التوجيه المباشر شجرة بعمق 0 — لا أفكار وسيطة على الإطلاق. سلسلة التفكير شجرة بعمق n وعرض 1 — مسار واحد بلا تفرّع. الاتّساق الذاتي عبارة عن k شجرة مستقلة بعمق n — التفرّع يحدث فقط عند الجذر والتصويت فقط عند الأوراق. أما شجرة الأفكار فهي الإطار الكامل: عمق وعرض حرّان وتقييم عند كل عقدة وسيطة.

يمكن قراءة هذا الطيف أيضاً من زاوية خصائص البحث: لا استكشاف (التوجيه المباشر)، لا تقييم (سلسلة التفكير)، تقييم في النهاية فقط (الاتّساق الذاتي)، ثم حلقة استكشاف وتقييم كاملة (شجرة الأفكار). والحجة المركزية في الورقة أن المسائل التي تحتاج بحثاً حقيقياً — حيث القرارات المبكرة تقيّد الخيارات اللاحقة — لا يمكن حلّها إلا بالإطار الكامل.

افتح في المختبر
تأمّل كيف تتدرّج الأساليب الأربعة — من التوجيه المباشر إلى شجرة الأفكار — في طيف يبدأ بانعدام الاستكشاف وينتهي بالبحث الشجري الكامل.
تستيقظ التجربة عند وصولك…

الإرث: من شجرة الأفكار إلى o1

  1. 2022

    سلسلة التفكير (Wei وآخرون)

    أثبتت أن مطالبة النماذج اللغوية بالتفكير خطوة بخطوة تحسّن قدرات الاستدلال بشكل ملحوظ. المسار يبقى خطياً واحداً دون تفرّع.

  2. 2022

    الاتّساق الذاتي (Wang وآخرون)

    الفكرة هي توليد عدة سلاسل تفكير ثم اختيار الإجابة الأكثر تكراراً بالتصويت. التفرّع يحدث عند نقطة البداية فقط، دون تقييم في الخطوات الوسيطة.

  3. 2023

    شجرة الأفكار (Yao وآخرون)

    بحث شجري متكامل: توليد وتقييم وتراجع عند كل خطوة وسيطة. النموذج اللغوي نفسه يعمل كدالة استدلالية. قفزة من 4% إلى 74% في لعبة 24.

  4. 2024

    OpenAI o1

    يعتمد على مبدأ الحوسبة وقت الاستدلال — النموذج يأخذ وقتاً أطول في التفكير قبل الإجابة، مستخدماً سلسلة تفكير داخلية مقترنة ببحث. امتداد طبيعي لفلسفة شجرة الأفكار.

الإسهام الأعمق لـ ToT مفاهيمي وليس خوارزمياً. ما أثبته هو أن المبدأ الكلاسيكي في الذكاء الاصطناعي — حل المسائل يعني بحثاً — ينطبق مباشرة على النماذج اللغوية الكبيرة. النموذج لا يحتاج أوزاناً جديدة، بل يحتاج إجراء استدلال أفضل. هذه الفكرة — أن زيادة الحوسبة وقت الاستدلال يمكن أن تعوّض عن التدريب — أصبحت الفكرة المحورية خلف OpenAI o1 والتوجّه الأوسع نحو ما يُعرف بـ الحوسبة وقت الاستدلال.

كشفت الورقة أيضاً أن النموذج اللغوي يستطيع أن يلعب دورين في آنٍ واحد: مولّد يطرح الحلول المرشحة، ومقيّم يستبعد الحلول الضعيفة. هذا النمط — المولّد والمقيّم في نموذج واحد — ترسّخ كنمط تصميمي أساسي في بناء أنظمة وتوليد الشيفرة البرمجية والاستدلال العلمي.

المرجعYao, Yu, Zhao, Shafran, Griffiths, Cao, Narasimhan. Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS, 2023.

مصطلحات هذه الورقة