السَّمْت

نماذج اللغة2023متوسط11 دقيقة قراءة

Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة

Llama 2: Open Foundation and Fine-Tuned Chat Models

Touvron, H. · Martin, L. · Stone, K. · Albert, P. · Almahairi, A. · Babaei, Y. · et al. — Meta AI

المشكلة

بحلول منتصف 2023 كانت الفجوة واضحة بين معسكرين: نماذج مغلقة مثل ChatGPT وClaude خضعت لمحاذاة دقيقة بتغذية راجعة بشرية فأصبحت مفيدة وآمنة، لكن أوزانها مملوكة ولا يمكن لأحد دراستها أو تكييفها. في المقابل، نماذج مفتوحة مثل LLaMA 1 وFalcon وMPT وفّرت نقاط انطلاق قوية ، لكنها افتقرت إلى التي تجعل النموذج آمناً وعملياً في المحادثات الحقيقية. لم يكن هناك نموذج مفتوح واحد يجمع بين مسبق متين ومحاذاة صارمة وتوثيق شفاف للسلامة على نطاق واسع.

الإسهام

Llama 2 عائلة من النماذج اللغوية الكبيرة بأحجام تتراوح من 7 إلى 70 مليار معامل، صدرت بأوزان مفتوحة وتشمل نسخاً مُدرَّبة مسبقاً ونسخاً مُحاذَاة للمحادثة. على صعيد التدريب المسبق، زادت بيانات التدريب بنسبة 40% مقارنةً بـ LLaMA 1 لتبلغ تريليونَي رمز، وتضاعف طول إلى 4096 رمزاً، واعتُمد الانتباه الاستعلامي المُجمَّع لتسريع . أما نماذج Llama 2-Chat فتعتمد خط محاذاة مبتكراً يجمع الضبط الدقيق الموجَّه مع نموذجَي مكافأة منفصلَين — واحد للمفيدية وآخر للسلامة — إضافةً إلى أخذ العيّنات بالرفض وتحسين السياسة القريبة لضمان اتساق المحادثات متعددة الأدوار. في التقييمات البشرية تفوّق Llama 2-Chat على جميع نماذج المحادثة المفتوحة واقترب من أداء النماذج المغلقة مثل ChatGPT.

الأثر

أثبت Llama 2 عملياً أن النماذج مفتوحة الأوزان تستطيع منافسة الأنظمة المغلقة في المفيدية والسلامة معاً. وضع النموذج مخططاً واضحاً وقابلاً للتكرار لتطبيق التعلّم المعزّز من التغذية الراجعة البشرية على نطاق واسع — بنموذجَي مكافأة مزدوجَين وأخذ عيّنات بالرفض تكراري وانتباه شبحي — وأصبح هذا المخطط مرجعاً لكل نموذج مفتوح جاء بعده. فور إصداره انطلقت موجة واسعة من الضبط المجتمعي أنتجت آلاف النماذج المشتقة، ووضعت تقنيات المتقدمة في متناول الباحثين حول العالم. شكّل Llama 2 الجسر بين مرحلة التدريب المسبق المفتوح (LLaMA 1) وعصر المحاذاة الشاملة (Llama 3)، وبرهن أن الانفتاح والسلامة ليسا هدفين متناقضين.

تخيّل طاهية بارعة تذوّقت كل مطبخ في العالم — تعرف كل مكوِّن، وتستطيع إعادة إنتاج أي وصفة، والارتجال بأي أسلوب. هذا بالضبط ما يمثّله التدريب المسبق للنموذج اللغوي: معرفة هائلة، لكن بلا أي حسّ بالسياق الاجتماعي.

الآن ضعْ هذه الطاهية في مطعم حقيقي. يقول لها زبون: «لديّ حساسية من الفول السوداني.» فتتجاهل التحذير وتُقدّم طبقاً يحتوي عليه — تنفيذ احترافي لكنه خطير. ما يُقدّمه Llama 2 هو البرنامج الذي يُعلّم الطاهية أن تُصغي: فريق من المتذوّقين يُقيّم كل طبق من ناحيتين — هل هو شهيّ؟ (المفيدية) وهل هو آمن؟ (السلامة). بالتدريج تتعلّم الطاهية إعداد وجبات مُبهرة ومسؤولة في آنٍ واحد — ثم تنشر كتاب وصفاتها بالكامل ليتمكّن أي مطعم في العالم من تكرار التجربة.

المشكلة: النماذج المفتوحة تتكلّم لكنها لا تُحاوِر

مع مطلع 2023 كان مشهد منقسماً بوضوح. النماذج المغلقة — ChatGPT وClaude وBard — مرّت بمراحل محاذاة مكثّفة عبر ، فأصبحت قادرة على إدارة محادثات متعددة الأدوار واتّباع التعليمات بأمان ورفض الطلبات الضارّة. لكن أوزانها مغلقة تماماً: لا يستطيع باحث دراسة كيف تعمل المحاذاة من الداخل، ولا يستطيع مطوّر تكييفها لمجال جديد.

في الجانب الآخر، أصدرت نماذج مفتوحة مثل LLaMA 1 وFalcon وMPT نقاط انطلاق قوية بعد تدريب مسبق ممتاز. هذه النماذج تُنتج نصوصاً سلسة وتحقّق نتائج جيدة في المعايير الأكاديمية، لكن بدون محاذاة كانت تُولّد أيضاً محتوى ساماً، وتنفّذ تعليمات ضارّة، وتنسى تعليمات النظام بعد بضعة أدوار. بعبارة أخرى: محرّكات قوية بلا مقود.

المفارقة أن الفجوة لم تكن في القدرة الخام — LLaMA 1 بحجم 65 مليار معامل وازى Chinchilla-70B في كثير من المعايير. الفجوة كانت في المحاذاة تحديداً: النماذج المغلقة حظيت بها، والمفتوحة لم تحظَ. Llama 2 جاء ليسدّ هذه الفجوة وينشر الوصفة كاملةً للجميع.

افتح في المختبر
النماذج المفتوحة كانت تُقارب المغلقة في معايير المعرفة، لكنها تتخلّف كثيراً في المحاذاة — المفيدية والسلامة. Llama 2-Chat يسدّ هذه الفجوة.
تستيقظ التجربة عند وصولك…

التدريب المسبق: أساس أقوى

معمارياً، يعتمد Llama 2 البنية نفسها التي استخدمها LLaMA 1: من نوع ، مع تسوية مسبقة بـ و و. لكن وصفة التدريب المسبق تطوّرت جوهرياً في ثلاثة محاور:

1. بيانات أكثر. ارتفع حجم بيانات التدريب بنسبة 40% ليصل إلى تريليونَي من مصادر عامة، مع تنظيف أشمل ومزيج بيانات محدّث. لم تُستخدم أي بيانات من منتجات Meta أو خدماتها.

2. سياق أطول. تضاعفت نافذة السياق من 2048 إلى 4096 رمزاً، ممّا يمنح النموذج القدرة على معالجة نصوص أطول والربط بين أجزائها.

3. . اعتمدت النماذج الأكبر (34B و70B) هذه الآلية التي تُشارك إسقاطات المفتاح والقيمة بين عدة رؤوس انتباه بدل أن يمتلك كل رأس نسخته الخاصة. النتيجة: جودة قريبة جداً من التقليدي، لكن مع تقليص كبير في الذاكرة المطلوبة لتخزين المفاتيح والقيم أثناء الاستدلال — وهذا تحسين حاسم لتشغيل النماذج الكبيرة فعلياً في الإنتاج.

افتح في المختبر
استكشف عائلة نماذج Llama 2 — انقر على أي حجم لتطّلع على تفاصيل بنيته ومقارنته بـ LLaMA 1.
تستيقظ التجربة عند وصولك…
GQA: Q∈Rn×d,  K,V∈Rn×(d/g)⇒each group of g heads shares one K,V pair\text{GQA: } Q \in \mathbb{R}^{n \times d},\; K, V \in \mathbb{R}^{n \times (d / g)} \quad\Rightarrow\quad \text{each group of } g \text{ heads shares one } K, V \text{ pair}
الانتباه الاستعلامي المُجمَّع — مشاركة KV بين مجموعات الرؤوس — في الانتباه متعدد الرؤوس التقليدي يملك كل رأس إسقاطات مفتاح وقيمة مستقلة. الانتباه الاستعلامي المُجمَّع يضمّ كل g رأس في مجموعة واحدة تتشارك زوجاً واحداً من المفتاح والقيمة، فتنخفض الذاكرة المطلوبة بمعامل g مع الحفاظ على جودة قريبة جداً.

خط المحاذاة: من نموذج خام إلى مساعد محادثة آمن

الانتقال من Llama 2 الخام إلى Llama 2-Chat المُحاذَى يمرّ بثلاث مراحل، مستوحاة من InstructGPT لكن مع إضافات جوهرية. الصورة الذهنية بسيطة: أولاً يتعلّم النموذج بالتقليد، ثم يحصل على درجات من مُقيِّمين، وأخيراً يتدرّب حتى ترتفع هذه الدرجات.

المرحلة الأولى — . يُدرَّب النموذج على أمثلة بشرية عالية الجودة لمحادثات مفيدة وآمنة. الملاحظة الجوهرية هنا أن الجودة تتفوّق على الكمّ بفارق كبير: مجموعة مُنتقاة بعناية من 27,540 مثالاً تفوّقت على ملايين الأمثلة الأقل جودة. وتفصيل تقني مهم: دالة الخسارة تُحسب فقط على رموز إجابة المساعد وتتجاهل سؤال المستخدم — لأن الهدف تعليم النموذج ماذا يقول، لا كيف يُكرّر السؤال.

المرحلة الثانية — نمذجة المكافأة. يُدرَّب : واحد يقيس وآخر يقيس السلامة. لماذا الفصل؟ لأن واحداً يقع في مأزق: إما يُبالغ في الحذر فيرفض طلبات مشروعة، أو يتساهل فيسمح بإجابات غير آمنة. الفصل يتيح تحسين كل هدف باستقلالية. تُدرَّب هذه النماذج على بيانات مقارنة ثنائية: أمام كل سؤال وإجابتين، يحدّد مُقيِّمون بشريون أيهما أفضل. دالة التدريب تستخدم خسارة ترتيب مُعدَّلة بهامش يُكافئ الفروقات الواضحة.

المرحلة الثالثة — التعلّم المعزّز بـ و. باستخدام نماذج المكافأة كحُكّام، يتحسّن نموذج المحادثة تكرارياً عبر خمس جولات. في كل جولة يُولّد نموذج 70B عدداً K من الإجابات المرشّحة لكل سؤال، يختار نموذج المكافأة أفضلها، ثم يُعاد ضبط النموذج على هذه الإجابات المُنتقاة. بدءاً من الجولة الخامسة يُضاف تحسين السياسة القريبة فوق ذلك لدفع الأداء أبعد. النماذج الأصغر (7B و13B) تستفيد أيضاً عبر من أفضل إجابات نموذج 70B.

افتح في المختبر
تابع خط المحاذاة ذا المراحل الثلاث — من نموذج خام مُدرَّب مسبقاً إلى مساعد محادثة آمن. انقر على كل مرحلة لترى كيف تُحوِّل النموذج.
تستيقظ التجربة عند وصولك…
Lranking=−log⁡ σ ⁣(rθ(x,yc)−rθ(x,yr)−m(r))\mathcal{L}_{\text{ranking}} = -\log\,\sigma\!\bigl(r_\theta(x, y_c) - r_\theta(x, y_r) - m(r)\bigr)
دالة خسارة تدريب نموذج المكافأة مع الهامش — لدينا سؤال x وإجابة مختارة y_c وإجابة مرفوضة y_r. نموذج المكافأة r_θ يُدرَّب بحيث تحصل الإجابة المختارة على درجة أعلى. الهامش m(r) يتناسب مع مدى وضوح التفضيل عند المُقيِّم: كلّما كان الفرق أوضح زاد الهامش، ممّا يُعلّم النموذج أن يُعاير درجاته لا أن يكتفي بالترتيب الصحيح.

الانتباه الشبحي: تذكُّر التعليمات عبر الأدوار

في المحادثات متعددة الأدوار، قد يضع المستخدم تعليمة نظامية في البداية — مثل «أجب دائماً بالفرنسية» أو «تصرّف كمرشد سياحي». المشكلة أن النموذج مع التدريب المعزّز التقليدي يميل إلى نسيان هذه التعليمة بعد بضعة أدوار ويعود إلى سلوكه الافتراضي. هذه هي مشكلة الاتساق في المحادثات الطويلة.

الحل الذي يُقدّمه Llama 2 هو تقنية الانتباه الشبحي، المستوحاة من . الفكرة أنيقة في بساطتها: أثناء الضبط تُلحَق التعليمة النظامية صناعياً بـكل رسالة مستخدم في المحادثة وليس بالأولى فحسب، لكن دالة الخسارة تُقيّم ردّ الدور الأخير فقط. هكذا يتعلّم النموذج الالتزام بالتعليمة حتى لو لم تظهر إلا مرة واحدة في بداية المحادثة الفعلية أثناء الاستدلال.

تسمية «الشبح» دقيقة: التعليمة حاضرة لكنها غير مرئية في كل دور أثناء التدريب، فيتعلّم النموذج الحفاظ عليها في المحادثة الحقيقية حيث لا تظهر سوى مرة واحدة. بعد تدريب الانتباه الشبحي، يحتفظ Llama 2-Chat بالتعليمات النظامية لأكثر من 20 دوراً — تحسُّن هائل مقارنةً بما كان ممكناً بدونه.

افتح في المختبر
شاهد كيف يحافظ الانتباه الشبحي على التعليمات النظامية عبر أدوار المحادثة — قارن بين الأداء مع الانتباه الشبحي وبدونه.
تستيقظ التجربة عند وصولك…

السلامة: هدف تصميمي من الدرجة الأولى

بخلاف النماذج المفتوحة السابقة التي عاملت السلامة كإضافة ثانوية، يُدمج Llama 2 السلامة في صميم كل مرحلة من مراحل البناء. النهج يعمل على ثلاث جبهات متكاملة:

تجهيز بيانات السلامة. كتب المُقيِّمون أسئلة مصمَّمة خصيصاً لاستفزاز النموذج واستدراج إجابات غير آمنة — أمثلة خصومية تختبر حدوده الحقيقية. قُيِّمت الإجابات على مقياس من خمس درجات، ودُرِّب نموذج مكافأة السلامة على هذه المقارنات المُصنَّفة.

التعلّم المعزّز للسلامة. يعمل نموذج مكافأة السلامة بالتوازي مع نموذج مكافأة المفيدية أثناء التعلّم المعزّز. الملاحظة المهمة: الجولات الأولى أظهرت توتراً حقيقياً بين الهدفين — الحذر الزائد دفع النموذج لرفض طلبات مشروعة تماماً. الحل الذي اكتشفه الفريق: زيادة نسبة بيانات السلامة في التدريب، واستخدام التقطير السياقي — أي توليد إجابات أكثر أماناً بوجود مقدّمة أمان ثم إعادة التدريب بدونها — ممّا خفّض هذا التوتر بشكل ملحوظ.

. أكثر من 350 متخصصاً بخبرات متنوعة — أمن سيبراني، تلاعب بوسائل التواصل، قانون، سياسات حكومية وغيرها — اختبروا النموذج بأساليب خصومية مكثّفة. نتائجهم غذّت بيانات تدريب السلامة مباشرةً وساعدت في تحديد فئات المخاطر. وتُعدّ هذه واحدة من أوسع عمليات الاختبار الخصومي المُوثَّقة لنموذج مفتوح.

افتح في المختبر
استكشف التوتر بين المفيدية والسلامة عبر جولات التعلّم المعزّز، وشاهد كيف تُخفّف الجولات المتأخرة حدّة هذا التوتر.
تستيقظ التجربة عند وصولك…

الفكرة في الكود

أخذ العيّنات بالرفض — حلقة الاختيار الأساسية في التعلّم المعزّزpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def rejection_sampling(model, reward_model, prompt, K=64):
    """ولِّد K إجابة مرشّحة؛ واحتفظ بالأعلى مكافأةً."""
    candidates = []
    for _ in range(K):
        response = model.generate(prompt, temperature=0.7)
        score = reward_model.score(prompt, response)
        candidates.append((response, score))

    # اختر الإجابة ذات أعلى مكافأة
    best_response, best_score = max(candidates, key=lambda x: x[1])
    return best_response, best_score

def dual_reward_selection(prompt, response, help_rm, safety_rm):
    """قيّم بنموذجَي مكافأة — المفيدية والسلامة."""
    help_score  = help_rm.score(prompt, response)
    safety_score = safety_rm.score(prompt, response)

    # السلامة تعمل كبوابة: إذا كانت درجة السلامة أقل من العتبة،
    # تُرفض الإجابة بغض النظر عن مفيديتها
    if safety_score < SAFETY_THRESHOLD:
        return -float('inf')  # ارفض الإجابات غير الآمنة
    return help_score         # رتّب الإجابات الآمنة حسب المفيدية

# رؤية مهمة: نموذج 70B يولّد المرشّحات، والنماذج الأصغر
# (7B و13B) تُضبط على أفضل إجابات 70B — تقطير المعرفة.

النتائج: سدّ الفجوة بين المفتوح والمغلق

حقّق Llama 2-Chat نتائج قوية في التقييمات الآلية والبشرية على حدّ سواء:

  • المفيدية (تقييم بشري): حقّق Llama 2-Chat بحجم 70B نسبة فوز 36% أمام ChatGPT (GPT-3.5) في مقارنات مباشرة — نسبة لافتة لنموذج . وتفوّق على جميع نماذج المحادثة المفتوحة وقتها بما فيها Falcon وMPT وVicuna.

  • السلامة (تقييم بشري): سجّل Llama 2-Chat نسبة انتهاك سلامة بلغت 4% فقط في الأدوار الفردية أمام أسئلة خصومية، مقابل 7% لـ ChatGPT. وفي المحادثات الخصومية متعددة الأدوار انخفضت النسبة إلى 0.2% فقط.

  • معايير التدريب المسبق: تفوّق Llama 2 المُدرَّب مسبقاً بحجم 70B على جميع النماذج المفتوحة المتاحة وقتها في معايير أكاديمية مثل MMLU وHellaSwag وARC وWinoGrande. في البرمجة (HumanEval) والرياضيات (GSM8K) كان الأداء تنافسياً لكنه لم يتصدّر — فجوة معروفة عولِجت في النماذج اللاحقة.

  • المفتوح مقابل المغلق: صحيح أن Llama 2-Chat لم يُضاهِ GPT-4، لكنه أثبت أن الفجوة بين المفتوح والمغلق يمكن تضييقها بشكل كبير عبر محاذاة منهجية — والأهم أن الوصفة بأكملها يمكن نشرها بشفافية.

افتح في المختبر
قارن Llama 2-Chat بالنماذج المفتوحة والمغلقة عبر معايير السلامة والمفيدية والمعايير الأكاديمية.
تستيقظ التجربة عند وصولك…

سلسلة نماذج Llama

  1. 2023

    LLaMA 1 — نماذج مُدرَّبة مسبقاً مفتوحة

    أربعة نماذج بمعمارية فاكّ الترميز فقط (7B–65B) مُدرَّبة على بيانات عامة. LLaMA-13B تفوّق على GPT-3 (175B) في معظم المعايير، مُثبتاً أن نموذجاً أصغر حجماً لكنه مُدرَّب جيداً يستطيع منافسة العمالقة. أُطلق لأغراض البحث فقط.

  2. 2023

    Llama 2 — أساس مفتوح + محادثة مُحاذَاة

    ثلاثة أحجام (7B و13B و70B) مع زيادة 40% في بيانات التدريب، وسياق مُضاعف، وانتباه استعلامي مُجمَّع، وخط محاذاة كامل بالتعلّم المعزّز. أول نموذج مفتوح يُنافس الأنظمة المغلقة في السلامة والمفيدية. صدر برخصة تجارية.

  3. 2023

    الانفجار المجتمعي

    خلال أسابيع ظهرت آلاف النسخ المضبوطة — نماذج متخصصة في البرمجة، وتكيّفات متعددة اللغات، ونماذج لمجالات بعينها. أصبح Llama 2 القاعدة الفعلية لأبحاث المحاذاة المفتوحة.

  4. 2024

    Llama 3 — توسيع الوصفة

    توسّع إلى أحجام 8B و70B و405B معامل، مع سياق بطول 128K ومُرمِّز بحجم 128K رمز وقدرات متعددة الوسائط. بُني مباشرةً على إطار محاذاة Llama 2 مع مضاعفة البيانات والحوسبة.

المرجعTouvron, Martin, Stone, Albert, Almahairi, et al.. Llama 2: Open Foundation and Fine-Tuned Chat Models. Meta AI, 2023.

مصطلحات هذه الورقة