Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini

مع بداية 2024، كانت أقوى النماذج اللغوية مغلقة المصدر: لا يمكن الوصول إليها إلا عبر واجهات برمجية، ولا أحد يستطيع رؤية أوزانها أو بيانات تدريبها أو آليات تقييم أمانها. في المقابل، قدّمت البدائل المفتوحة مثل LLaMA-2 (بأحجام 7 و13 و70 مليار معامل) وMistral 7B أداءً قوياً، لكنها افتقرت إلى البنية التحتية للتدريب وجودة تنقية البيانات والتقييم المنهجي للأمان — وهي السمات التي تميّز المختبرات المتقدّمة.

ردّ جوجل كان Gemma — وهو ليس مجرد نموذج مفتوح آخر، بل محاولة مقصودة لنقل المنهجيات المتقدّمة إلى المنظومة المفتوحة. نماذج Gemma مبنية على نفس المنظومة البحثية التي أنتجت Gemini: نفس عائلة البنية، ومعالجة بيانات مشابهة، ونفس إطار تقييم الأمان. الهدف هو تمكين الباحثين والمطوّرين من الحصول على نماذج تجمع بين الأداء العالي، والحجم الصغير الذي يسمح بالتشغيل محلياً، والتقييم الصارم للأمان.

اسم «Gemma» مشتقّ من اللاتينية ويعني «جوهرة» — حجر صغير ونفيس. أُطلق حجمان: نموذج بـ7 مليارات معامل للنشر على GPU وTPU، ونموذج بـ2 مليار معامل مصمَّم للعمل على المعالجات المركزية والأجهزة المحمولة. كلا الحجمين متاح كنقاط حفظ مُدرَّبة مسبقاً ونُسخ مضبوطة بالتعليمات.

يعتمد Gemma على بنية المحوِّل بوضع مُفكِّك الترميز فقط — نفس البنية الأساسية التي تقف خلف GPT وGemini. لكن المحوِّل الأصلي الذي ظهر عام 2017 أُضيفت إليه أربعة تحسينات جوهرية طوّرها المجتمع البحثي خلال السنوات التالية. فكّر في الأمر كترقية لمحرّك سيارة أثبتت جدارتها: الهيكل الأساسي لم يتغيّر، لكن كل مكوّن داخلي صُقل ليعمل بكفاءة وأداء أعلى.

1. انتباه متعدد الاستعلامات (MQA) مقابل الانتباه متعدد الرؤوس (MHA). في الانتباه متعدد الرؤوس التقليدي، يحتفظ كل رأس بإسقاطات مستقلة للمفتاح والقيمة. الفكرة في الانتباه متعدد الاستعلامات أبسط: جميع الرؤوس تتشارك زوجاً واحداً من المفتاح والقيمة، وهذا يخفّض استهلاك الذاكرة أثناء الاستدلال بشكل كبير. يستخدم Gemma 2B هذا الأسلوب (رأس KV واحد)، بينما يستخدم Gemma 7B الانتباه متعدد الرؤوس الكامل (16 رأس KV). السبب في هذا الاختيار أن دراسات الاستئصال أظهرت أن كل أسلوب يقدّم أفضل أداء عند حجمه المناسب.

2. التضمين الموضعي الدوراني (RoPE). بدلاً من إضافة أرقام موضع ثابتة إلى الرموز، يُعبّر RoPE عن الموضع عن طريق تدوير متجهات الاستعلام والمفتاح بزاوية تتناسب مع ترتيب الرمز في التسلسل. النتيجة أن النموذج يكتسب إحساساً طبيعياً بالمسافة: الرموز القريبة من بعضها تكون دوراناتها متشابهة، والبعيدة تتباعد. الميزة الإضافية أن RoPE يتعامل بشكل أفضل مع أطوال تسلسلات لم يتعرّض لها أثناء التدريب.

3. تنشيطات GeGLU. بدلاً من دالة التنشيط التقليدية ReLU التي تعمل كمفتاح تشغيل/إيقاف (تمرّر القيم الموجبة وتحجب السالبة)، يستخدم Gemma تنشيط GeGLU — وهو نسخة مُحسَّنة من GELU تتضمّن بوابة مُتعلَّمة. تخيّل الفرق كصمّام ذكي: بدلاً من الفتح الكامل أو الإغلاق الكامل، تتعلّم الشبكة ضبط الكمّية التي تمرّرها من المعلومات، مما يعطيها تحكّماً أدقّ بكثير.

4. تسوية RMSNorm. بدلاً من تسوية الطبقة (LayerNorm) التي تُجري عمليتين — مَركَزة ثم قياس — يكتفي Gemma بتسوية RMSNorm التي تستخدم جذر متوسط المربعات فقط دون مَركَزة. هذا أخفّ حسابياً وأظهرت التجارب أنه يعمل بنفس الفعالية مع بنى المحوِّلات. يُطبَّق على مدخل كل طبقة فرعية من الانتباه والتغذية الأمامية.

يتشارك نموذجا Gemma نفس المخطط المعماري ويختلفان فقط في الحجم. النموذج 7B يتكوّن من 28 طبقة محوِّل ببُعد نموذج 3072 و16 رأس انتباه. النموذج 2B يتكوّن من 18 طبقة ببُعد نموذج 2048 و8 رؤوس انتباه. كلاهما يستخدم حجم رأس 256 وقاموساً مشتركاً من 256,128 رمزاً عبر مُجزِّئ SentencePiece الموروث من Gemini.

بُعد الطبقة المخفية في شبكة التغذية الأمامية كبير عمداً مقارنةً ببُعد النموذج — يبلغ 49,152 في النموذج 7B و32,768 في النموذج 2B — والسبب أن تنشيطات GeGLU تقسم هذا البُعد داخلياً إلى نصفين: نصف للبوابة ونصف للقيمة، فيكون العرض الفعلي نصف الرقم المُعلَن. كذلك يتشارك كلا النموذجين تضمينات المدخلات والمخرجات لتقليل العدد الإجمالي للمعاملات.

دُرِّبت نماذج Gemma على عتاد TPUv5e من جوجل. النموذج 7B يُدرَّب عبر 16 مجموعة عنقودية (4,096 شريحة TPUv5e إجمالاً) باستخدام توازي نماذج بمعامل 16 وتوازي بيانات بمعامل 16 داخل كل مجموعة، مع توزيع حالة المُحسِّن بأسلوب مشابه لـ ZeRO-3. أما النموذج 2B فيستخدم مجموعتين عنقوديتين فقط (512 شريحة) مع نسخ بيانات بسيط بمعامل 256. التنسيق بين المجموعات يتمّ عبر نظام Pathways.

بيانات التدريب إنجليزية في الأساس، مصدرها صفحات الويب ونصوص رياضية وشفرات برمجية. النموذج 2B دُرِّب على 2 تريليون رمز، والنموذج 7B على 6 تريليونات رمز. ومن الجدير بالذكر أن Gemma لا يتعامل مع عدة وسائط — فعلى عكس Gemini، هو يعالج النصوص فقط.

تنقية البيانات كانت شاملة: تُزال المحتويات الضارة أو منخفضة الجودة باستخدام قواعد استكشافية ومصنِّفات مبنية على نماذج، وتُحذف المعلومات الشخصية، وتُستبعد مجموعات التقييم من بيانات التدريب لمنع التلوّث. بالإضافة إلى ذلك، يُعدَّل مزيج البيانات تدريجياً أثناء التدريب بحيث تزداد نسبة البيانات عالية الجودة كلما اقترب التدريب من نهايته — وهي تقنية مشتركة مع Gemini.

النموذج اللغوي بعد التدريب المسبق يستطيع إكمال النصوص، لكنه لا يعرف كيف يتّبع تعليمات أو يُجري محادثة. نُسخ Gemma المضبوطة بالتعليمات (IT) تمرّ بمرحلتين من المواءمة.

المرحلة الأولى: الضبط الدقيق بالإشراف (SFT). يُدرَّب النموذج على مجموعة منتقاة من أزواج الأسئلة والإجابات النصية بالإنجليزية — بعضها من إعداد بشري وبعضها مولَّد آلياً. عملية انتقاء البيانات تعتمد على مقارنات جنبًا إلى جنب يجريها نموذج لغوي قوي يعمل كحَكَم: يُعرض عليه سؤال محجوز ويقارن بين إجابة النموذج المرشَّح وإجابة مرجعية، ثم يختار الأفضل. هذا الأسلوب ينتقي البيانات التي تعزّز الإفادة والدقة والإبداع والأمان في آنٍ واحد.

المرحلة الثانية: التعلم المعزَّز من التغذية الراجعة البشرية (RLHF). يقارن مقيّمون بشريون بين أزواج من إجابات النموذج ويحدّدون أيها أفضل. يُدرَّب نموذج مكافأة وفق إطار برادلي-تيري ليتنبأ بالإجابة التي يفضّلها البشر. بعد ذلك، تُحسَّن سياسة النموذج باستخدام متغيّر من خوارزمية REINFORCE مع قيد تنظيمي يعتمد على تباعُد KL عن نموذج SFT — والغرض من هذا القيد منع النموذج من الانحراف بعيداً عن سلوكه المُشرَف عليه، مع الاستمرار في تعظيم إشارة المكافأة.

يعتمد Gemma أيضاً تنسيقاً خاصاً للمحادثة باستخدام رموز تحكّم. كل رسالة من المستخدم تُحاط برمزَي <start_of_turn>user و<end_of_turn>، وكل ردّ من النموذج يُحاط برمزَي <start_of_turn>model و<end_of_turn>. هذا التنسيق ضروري عند الاستدلال — فمن الممكن تقنياً التوليد بدونه، لكن النتائج تكون أضعف لأن النموذج يعمل خارج التوزيع الذي تدرّب عليه.

قُيِّم Gemma على 18 معياراً مرجعياً أكاديمياً تغطي الاستدلال والمعرفة العامة والرياضيات والبرمجة والأمان. النتيجة الأبرز: تفوّق Gemma 7B على النماذج المفتوحة المماثلة في الحجم في 11 من 18 مهمة، بل تجاوز حتى LLaMA-2 13B الأكبر حجماً في عدة معايير.

على MMLU (المعرفة العامة)، سجّل Gemma 7B نسبة 64.3% — متقدّماً على Mistral 7B الذي حقّق 62.5%، ومتفوّقاً بفارق كبير على LLaMA-2 7B بنسبة 45.3%. في GSM8K (مسائل رياضية بمستوى المرحلة الابتدائية)، حقّق Gemma 7B نسبة 46.4% متجاوزاً Mistral 7B (35.4%) بأكثر من 10 نقاط. وعلى HumanEval (توليد الشفرة البرمجية)، سجّل Gemma 7B نسبة 32.3% — متفوّقاً حتى على CodeLLaMA 7B المتخصّص في البرمجة، الذي سجّل 41.4% على MBPP بينما حقّق Gemma فيه 44.4%.

النموذج 2B بدوره يقدّم أداءً جيداً عند حجمه، إذ سجّل 42.3% على MMLU و22.0% على HumanEval — وهي أرقام تنافسية لنموذج صُمّم أصلاً للعمل على المعالجات المركزية والأجهزة المحمولة.

في تقييمات التفضيل البشري مقابل Mistral 7B v0.2 Instruct، حقّق Gemma 7B IT معدل تفضيل 51.7% في اتّباع التعليمات و58% في الأمان. حتى Gemma 2B IT — رغم صغر حجمه — حقّق معدل تفضيل 56.5% في الأمان مقابل Mistral 7B الأكبر بكثير. هذا يوضّح أن مستوى الأمان لا يتحدّد بحجم النموذج فقط.

الأمان في Gemma ليس ملحقاً أُضيف في النهاية — بل هو جزء أساسي مُدمَج في كل مرحلة. تعرض الورقة تقييمات على 10 معايير أمان تشمل RealToxicity (قياس توليد نصوص سامّة)، وBOLD وCrowS-Pairs (التحيّز الاجتماعي)، وBBQ (أسئلة التحيّز الغامضة)، وWinogender وWinobias (التحيّز المبني على الجنس)، وTruthfulQA (الدقة الوقائعية)، وToxigen (اختبارات سمّية عدائية).

يعمل الأمان في Gemma عبر ثلاث طبقات دفاعية. الأولى: تنقية البيانات — تُنظَّف بيانات التدريب باستخدام قواعد استكشافية ومصنِّفات مبنية على نماذج لإزالة المحتوى الضار والسامّ والشخصي. الثانية: الضبط بالتعليمات من أجل الأمان — مرحلتا SFT وRLHF تُحسِّنان سلوك النموذج نحو الأمان إلى جانب الإفادة، مع بيانات تشجّع النموذج على التحفّظ والرفض وذكر المصادر عند الحاجة. الثالثة: تقييم الحفظ — تختبر الورقة قدرة النموذج على استرجاع بيانات التدريب حرفياً، وتفحص الحفظ الدقيق والتقريبي، وتقيس تحديداً مدى تسرّب المعلومات الشخصية والحسّاسة.

من أهم المخاوف الأمنية في أي نموذج لغوي: هل يحفظ بيانات التدريب ويستطيع إعادة إنتاجها حرفياً؟ خصوصاً المعلومات الشخصية. لاختبار ذلك، سحب فريق Gemma عيّنة من 10,000 مستند، واستخدم أول 50 رمزاً من كل مستند كموجّه، ثم فحص ما إذا كان النموذج يولّد الرموز الخمسين التالية بشكل مطابق للأصل.

أبرز النتائج: معدّلات الحفظ في Gemma مماثلة لنماذج PaLM بأحجام قريبة. لم يُعثر على أي بيانات شخصية حسّاسة محفوظة. رُصدت بعض البيانات التي قد تكون شخصية، لكن أدوات الكشف الآلي المستخدمة (Google Cloud Sensitive Data Protection) معروفة بكثرة نتائجها الإيجابية الخاطئة، مما يعني أن الكمية الفعلية أقل على الأرجح. أما الحفظ التقريبي (بعتبة مسافة تحرير 10%) فأظهر أن البيانات المحفوظة تقريبياً تزيد بنحو 50% عن المحفوظة حرفياً — وهو نمط ثابت عبر جميع فئات البيانات.

الإسهام الأهم لـ Gemma لا يتوقف عند أرقام الأداء — بل يكمن في إثبات أن إصدار نماذج مفتوحة بشكل مسؤول أمر ممكن حتى عند أعلى مستويات التقنية. من خلال الجمع بين تنقية بيانات عالية الجودة، وتحسينات معمارية حديثة، وتقييم أمان منهجي، واختبارات للحفظ، أوضحت جوجل أن «مفتوح» و«مسؤول» لا يتناقضان. الوصفة الآن متاحة للجميع، والمجتمع هو من يقرّر كيف يستخدمها.