LIMA: القليل يكفي للمواءمة

بحلول 2023، كان بناء مساعد ذكاء اصطناعي قادر يتطلّب مرحلتين مُكلفتين بعد التدريب المسبق. المرحلة الأولى هي الضبط التعليمي: وفيها يُضبط النموذج على عشرات أو مئات الآلاف من الأوامر والاستجابات لتعليمه كيف يتّبع التعليمات. المرحلة الثانية هي التعلّم التعزيزي من التغذية الراجعة البشرية: حيث يُدرَّب نموذج مكافأة على تفضيلات بشرية ثم يُستخدم لتوجيه مخرجات النموذج اللغوي نحو الأفضل. مشاريع مثل InstructGPT جمعت ملايين التقييمات البشرية، في حين اعتمد Alpaca على 52,000 مثال مُقطَّر. الرسالة الضمنية كانت واضحة: كلما زادت البيانات والتغذية الراجعة والتدريب، كانت المواءمة أفضل.

لكن هذا الافتراض لم يُخضَع لاختبار منهجي. هل كل تلك البيانات تُعلّم النموذج معرفة جديدة فعلاً، أم أنها لا تفعل أكثر من تعليمه طريقة تقديم ما يعرفه أصلاً؟ هذا هو السؤال الذي سعت LIMA للإجابة عنه.

الفكرة المحورية في الورقة هي ما سمّاه المؤلفون فرضية المواءمة السطحية: معرفة النموذج وقدراته تتشكّل بالكامل تقريباً خلال مرحلة التدريب المسبق، أما المواءمة فكل ما تفعله هو أن تُوجّه النموذج نحو أسلوب معيّن في التفاعل مع المستخدمين. بتعبير أبسط: المواءمة لا تحقن معرفة جديدة في النموذج، بل تُفعّل أسلوباً في تقديم ما يعرفه.

تخيّل أن التدريب المسبق يبني مكتبة هائلة داخل أوزان النموذج — مليارات الحقائق وأنماط الاستدلال وأساليب الكتابة ومقتطفات الشيفرة والمعرفة العامة. المواءمة لا تُضيف كتباً جديدة إلى هذه المكتبة، بل تُعيّن أمين مكتبة يعرف كيف يختار الكتاب المناسب ويعرضه بوضوح حين يسأل أحدهم.

إذا كانت هذه الفرضية صحيحة، فالنتيجة المنطقية هي أن بإمكانك مواءمة نموذج مُدرَّب مسبقاً بعدد صغير جداً من الأمثلة، ما دامت تلك الأمثلة تعرض الأسلوب الصحيح في التفاعل. وهذا بالضبط ما أرادت LIMA اختباره.

إذا كانت المواءمة تتعلّق بتعليم الأسلوب لا المعرفة، فالبيانات لا تحتاج أن تكون ضخمة — لكنها يجب أن تكون ممتازة. انتقى المؤلفون بالضبط 1,000 زوج من الأوامر والاستجابات، بإجمالي نحو 750,000 رمز لغوي، من مزيج متوازن من المصادر.

750 مثالاً من المنتديات المتخصصة. منها 200 من أقسام العلوم والتقنية والهندسة والرياضيات في Stack Exchange، و200 من أقسامه الأخرى، و200 من مقالات wikiHow — وجميعها خضعت لترشيح صارم من حيث الطول الأدنى وخلوّها من ضمير المتكلّم والإحالات الخارجية. يُضاف إليها 150 مثالاً في الكتابة الإبداعية من قسم r/WritingPrompts على Reddit. المعايير كانت واضحة: كل إجابة يجب أن تكون مكتفية بذاتها، حسنة الصياغة، ومتّسقة أسلوبياً مع ما تتوقعه من مساعد ذكاء اصطناعي جيّد.

250 مثالاً كتبها المؤلفون بأنفسهم. غطّت مهام متنوعة كالنصائح والمساعدة البرمجية والكتابة الإبداعية والمحادثات العامة وغيرها. التزموا بنمط استجابة موحَّد: ابدأ بالإقرار بالسؤال ثم أجب عنه بوضوح. وخُصّص 13 مثالاً منها للتعامل مع أوامر حسّاسة من ناحية الأمان عبر رفض مدروس ومسؤول.

50 مثالاً من Natural Instructions. غطّت مهام معالجة لغة طبيعية كالتلخيص وإعادة الصياغة، ما أضاف تنوّعاً في المهام دون أن يمسّ الجودة.

المحصّلة: 1,000 مثال فقط. قارن هذا بـ52,000 في Alpaca أو الملايين في InstructGPT.

إجراءات التدريب بسيطة بشكل متعمَّد. بدأ المؤلفون من LLaMA 65B وأجروا ضبطاً دقيقاً على أمثلتهم الألف باستخدام دالة خسارة إشرافية معيارية — بلا نموذج مكافأة، بلا PPO، بلا أزواج تفضيلات. أضافوا رمز نهاية دور خاصاً (EOT) للفصل بين دوري المستخدم والمساعد، بدلاً من استخدام رمز نهاية التسلسل (EOS) الموجود في النموذج الأصلي والذي يحمل دلالات مختلفة من التدريب المسبق.

المعاملات الفائقة لم تحمل أي مفاجآت: مُحسِّن AdamW بقيم $\beta_1 = 0.9$ و$\beta_2 = 0.95$، انحلال أوزان بقيمة 0.1، معدَّل تعلُّم يبدأ عند $1 \times 10^{-5}$ ويتناقص خطياً إلى $1 \times 10^{-6}$، حجم دُفعة يساوي 32، والتدريب يمتدّ 15 حقبة.

التقنية اللافتة كانت الإسقاط المتبقّي بزيادة خطية: يبدأ معدّل الإسقاط من $p_d = 0.0$ في الطبقة السفلى ويرتفع تدريجياً حتى $p_d = 0.3$ في الطبقة العليا. الفكرة هي أن الطبقات العليا أكثر عرضة لحفظ تفاصيل التدريب، فتحتاج تنظيماً أقوى لمنع فرط التخصيص على مجموعة بيانات بهذا الحجم الصغير.

وظهرت نتيجة غير متوقعة: الحيرة على بيانات الاختبار ترتبط عكسياً بجودة التوليد. أي أن انخفاض الحيرة — الذي يُعدّ عادةً مؤشراً إيجابياً — أدّى فعلياً إلى مخرجات أسوأ. لذلك اضطرّ المؤلفون لاختيار نقاط التحقق يدوياً بالاستعانة بمجموعة تطوير من 50 مثالاً، بدلاً من الاعتماد على خسارة التحقق.

قارن المؤلفون LIMA بخمسة نماذج قوية على 300 أمر اختبار، وحكّموا بشراً لتقييم التفضيلات. النتائج كانت لافتة.

تفوّقت LIMA على Alpaca 65B الذي تدرّب على 52,000 مثال: فضّل المُقيِّمون LIMA في 53% من الحالات مقابل 26% فقط لصالح Alpaca. وتفوّقت أيضاً على DaVinci003 — نموذج OpenAI الذي مرّ بمرحلة التعلّم التعزيزي من التغذية الراجعة البشرية — بنسبة 44% مقابل 35%.

حتى أمام النماذج الأقوى ظلّت LIMA منافِسة. أمام Bard فازت أو تعادلت في 58% من الحالات، وأمام Claude في 46%. والأبرز أنها أمام GPT-4 — الذي كان يُعدّ الأفضل آنذاك — أنتجت استجابات مكافئة أو أفضل في 43% من الحالات. بل إن GPT-4 نفسه حين استُخدم كمُقيِّم فضّل مخرجات LIMA على مخرجاته في 19% من المرات.

على المقياس المطلق، حصلت 50% من استجابات LIMA على تقدير ممتاز، و88% استوفت متطلبات الأمر. 12% فقط لم ترقَ إلى المستوى المطلوب.

لعزل العوامل المؤثرة، أجرى المؤلفون ثلاث تجارب استبعاد على نموذج LLaMA بحجم 7 مليارات معامل، واختبروا ثلاثة محاور: التنوّع والجودة والكمّية.

التنوّع مهم. قارنوا 2,000 مثال من Stack Exchange — تغطّي مواضيع متعددة ومتنوعة — بـ2,000 مثال من wikiHow — جميعها من نمط «كيف تفعل كذا». بيانات Stack Exchange المتنوعة حقّقت درجة 3.83 على مقياس جودة من 6 نقاط، وتفوّقت بوضوح على wikiHow التي سجّلت 3.49. السبب بديهي: التنوّع في الأوامر يُعلّم النموذج التعامل مع طيف أوسع من طلبات المستخدمين.

الجودة مهمة. قارنوا 2,000 مثال من Stack Exchange مُرشَّحة للجودة بـ2,000 مثال بلا أي ترشيح. النتيجة: 3.83 للبيانات المُرشَّحة مقابل 3.33 لغير المُرشَّحة — فارق نصف نقطة كاملة ناتج عن جودة البيانات وحدها.

الكمّية — وهذه المفاجأة — لا تُحدث فرقاً يُذكر. درّبوا النموذج على 2,000 ثم 4,000 ثم 8,000 ثم 16,000 ثم 32,000 مثال من Stack Exchange. الأداء بقي ثابتاً تقريباً رغم هذه الزيادة بمقدار 16 ضعفاً. مضاعفة البيانات أو تربيعها لم تُحقّق أي تحسّن ملموس. هذا أقوى دليل تجريبي على فرضية المواءمة السطحية: حين يرى النموذج ما يكفي من أمثلة على الأسلوب المطلوب، فإن إضافة المزيد من الأسلوب نفسه لا تُغيّر شيئاً.

تدرّبت LIMA بالكامل على تفاعلات أحادية الدور — أمر واحد واستجابة واحدة. لكن حين اختُبرت في محادثات حيّة متعددة الأدوار، أظهرت قدرة حوارية متماسكة بشكل مُفاجئ، واستطاعت الإشارة إلى معلومات وردت في أدوار سابقة. المشكلة أنها في 6 من أصل 10 محادثات اختبارية أخفقت خلال 3 تفاعلات — وهذا متوقع لأنها كانت تعمل خارج توزيع تدريبها.

الحل جاء بتكلفة ضئيلة: أضاف المؤلفون 30 سلسلة حوار فقط صُنعت يدوياً — 10 كتبها المؤلفون و20 عُدِّلت من سلاسل تعليقات Stack Exchange. هذه الإضافة الصغيرة — 30 مثالاً من أصل 1,030 — غيّرت أداء LIMA الحواري جذرياً: الاستجابات الممتازة قفزت من 45.2% إلى 76.1%، وحالات الإخفاق انخفضت من 15 في كل 42 دوراً إلى واحدة فقط في كل 46 دوراً. النموذج المُحدَّث تفوّق بوضوح في 7 من أصل 10 محادثات.

هذه النتيجة تدعم فرضية المواءمة السطحية من زاوية جديدة: النموذج كان يعرف أصلاً كيف يُجري حواراً — هذه القدرة موجودة من التدريب المسبق. كل ما احتاجه هو بضعة أمثلة تُريه الصيغة المطلوبة لتفعيل ما يعرفه.

بـ13 مثالاً فقط يتعلّق بالأمان، استجابت LIMA بشكل آمن لـ80% من 30 أمراً حسّاساً في الاختبار. حين كانت النية الخبيثة واضحة — كأن يُطلب عنوان منزل شخصية مشهورة — رفضت LIMA كما ينبغي. لكن حين كانت النية الضارة مُبطَّنة أو مُقنَّعة، كانت أكثر عرضة للامتثال.

هذا قيد جوهري. فرضية المواءمة السطحية تقترح أن الأسلوب يُكتسب من أمثلة قليلة، لكن حدود الأمان يبدو أنها تحتاج تدريباً أعمق. النموذج تعلّم شكل الرفض — مثل «لا أستطيع المساعدة في هذا» — لكنه لم يستوعب المنطق الذي يُحدّد متى يجب أن يرفض. وهذا فارق مهم: الأسلوب يُحاكى بسهولة، أما الحكم على الخطورة فيحتاج فهماً أعمق.