مامبا: نمذجة التسلسلات في زمن خطّي باستخدام فضاءات حالة انتقائية

بحلول 2023، كانت جميع النماذج الأساسية تقريباً — GPT وClaude وGemini وBERT — مبنية على المُحوِّل. السرّ في قوته أن آلية الانتباه الذاتي تربط كل رمز بكل رمز آخر في خطوة واحدة، وهذا ما يمنحه تفوّقاً في فهم اللغة.

لكن هذه القوة تأتي بثمن مرتفع:

• تكلفة تربيعية. الانتباه الذاتي يقارن كل زوج من الرموز: ضاعف طول التسلسل وستتضاعف التكلفة أربع مرات. مستند من مئة ألف رمز يكلّف عشرة آلاف ضعف ما تكلّفه فقرة من ألف رمز.

• ذاكرة المفاتيح والقيم المتنامية. أثناء الاستدلال، يحتفظ النموذج بمتّجه مفتاح ومتّجه قيمة لكل رمز سابق. كلما طال السياق كبرت هذه الذاكرة، فتستنزف موارد المعالج الرسومي وتُبطئ التوليد.

حاولت بدائل عديدة تجاوز هذه القيود — الانتباه الخطّي، والالتفافات الشاملة، ونماذج فضاء الحالة المُهيكلة مثل S4 — لكنها جميعاً وقعت في المأزق نفسه: عاملت كل مُدخَل بالطريقة ذاتها، دون تمييز بين معلومة جوهرية وضوضاء لا قيمة لها.

قبل أن نفهم ما أضافته مامبا، نحتاج أولاً إلى استيعاب الأساس الذي بنت عليه: نماذج فضاء الحالة المُهيكلة (S4).

تخيّل نموذج فضاء الحالة كأنه خطّ أنابيب فيه خزّان مخفي: إشارة دخل $x(t)$ تصل، فتُحدّث الحالة المخفية $h(t)$، ثم يخرج منها ناتج $y(t)$. الحالة المخفية أشبه بمستوى الماء في الخزّان — تتراكم فيها المعلومات مع الزمن، والمُخرج يُقرأ منها.

أربع مصفوفات تتحكّم بهذا الخطّ: $\boldsymbol{A}$ تحدّد كيف تتطوّر الحالة من تلقاء نفسها (أشبه بمعدّل تسرّب الخزّان)، و$\boldsymbol{B}$ تحدّد كمّية الدخل الجديد التي تصل إلى الخزّان، و$\boldsymbol{C}$ تحدّد ما نقرأه من الحالة كمُخرج، و$\Delta$ تضبط حجم الخطوة الزمنية (التمييز). النقطة الجوهرية أن هذه المعاملات الأربعة في النماذج السابقة كانت ثابتة — لا تتغيّر من رمز إلى آخر. يُعرف هذا السلوك بثبات الزمن الخطي (LTI).

انطلق غو وداو من ملاحظة جوهرية: نمذجة التسلسلات في نهاية المطاف هي مسألة ضغط السياق في حالة محدودة الحجم. الانتباه الذاتي يتجنّب الضغط أصلاً لأنه يحتفظ بكل رمز في ذاكرة المفاتيح والقيم — نتائج ممتازة لكن بتكلفة عالية. النماذج التكرارية في المقابل تضغط كل شيء في حالة مخفية ثابتة الحجم — كفاءة عالية لكن مع فقدان حتمي للمعلومات.

السؤال الحاسم هنا: ما الذي يُضغط وما الذي يُهمل؟ في نماذج LTI يكون الضغط أعمى تماماً عن المحتوى: المصفوفة $\boldsymbol{A}$ نفسها تحكم كل خطوة، فلا يستطيع النموذج أن يميّز بين كلمة مهمة مثل «هاري» وكلمة حشو مثل «آه». لهذا السبب تخفق نماذج LTI في المهام التي تحتاج استدلالاً مبنياً على المحتوى، كمهمة النسخ الانتقائي: نسخ رموز محدّدة من مواضع متفرقة وتجاهل ما بينها.

الحل الذي طرحته مامبا هو الانتقائية: تحويل معاملات فضاء الحالة — تحديداً $\Delta$ و$\boldsymbol{B}$ و$\boldsymbol{C}$ — إلى دوالّ تعتمد على المُدخَل الحالي. بهذا يصبح النموذج قادراً على:

• حفظ رمز مهم بفتح البوابة ($\Delta$ كبيرة → الحالة تُعاد ضبطها وتمتص المُدخَل الجديد)
• تجاهل الضوضاء بإغلاق البوابة ($\Delta$ صغيرة → الحالة تستمر والمُدخَل ينزلق)
• التحكّم بما يدخل الحالة ($\boldsymbol{B}$ معتمد على المُدخَل) وبما يُقرأ منها ($\boldsymbol{C}$ معتمد على المُدخَل)

التعديل الذي تُجريه مامبا على S4 بسيط بشكل مدهش. بدلاً من أن تكون المعاملات ثوابت لا تتغيّر، تصبح ثلاثة منها دوالّ تعتمد على الرمز المُدخَل:

• $\boldsymbol{B}_t = \text{Linear}_N(x_t)$ — إسقاط الدخل أصبح يتغيّر بحسب المُدخَل
• $\boldsymbol{C}_t = \text{Linear}_N(x_t)$ — إسقاط الخرج أصبح يتغيّر بحسب المُدخَل
• $\Delta_t$ = softplus $(\text{Linear}(x_t))$ — حجم الخطوة الزمنية أصبح يتغيّر بحسب المُدخَل

المصفوفة $\boldsymbol{A}$ وحدها تبقى ثابتة، لأنها لا تؤثّر في النموذج إلا من خلال تفاعلها مع $\Delta$ عند التمييز، وبالتالي فإن جعل $\Delta$ انتقائية يمنح $\boldsymbol{A}$ انتقائية ضمنية.

هذا هو الابتكار بأكمله على الصعيد الرياضي. لكن نتيجته عميقة: النموذج لم يعد ثابت الزمن، وبذلك يفقد القدرة على استخدام اختصار الالتفاف الذي كان يمنح S4 سرعتها.

آلية الانتقائية في مامبا ليست فكرة جديدة من العدم — جذورها تعود إلى مفهوم البوابات في الشبكات العصبية التكرارية الكلاسيكية. تُثبت الورقة (المبرهنة 1) أنه حين يكون بُعد الحالة يساوي 1، فإن فضاء الحالة الانتقائي يتحوّل تماماً إلى شبكة تكرارية ذات بوابة:

$g_t = \sigma(\text{Linear}(x_t))$، ثم $h_t = (1 - g_t)\, h_{t-1} + g_t\, x_t$

هذه هي البوابة المعروفة في LSTM: حين تقترب $g_t$ من 1 فالمعنى «تجاهل الحالة القديمة واستوعب المُدخَل الجديد»، وحين تقترب من 0 فالمعنى «حافظ على الحالة الحالية وتخطَّ هذا المُدخَل».

مامبا تُعمِّم هذه الفكرة في اتّجاهين: أولاً بُعد الحالة $N$ أكبر بكثير (عادة 16)، ما يمنح النموذج حالة مخفية أغنى وأكثر تعبيراً. ثانياً البوابة لا تُصمَّم يدوياً بل تنبع من تمييز منهجي لنظام ديناميكي مستمر.

حين تصبح معاملات فضاء الحالة معتمدة على المُدخَل، يفقد النموذج اختصار الالتفاف. التكرار المباشر تسلسلي ويتطلّب تخزين مُوتِّر حالة بأبعاد $(B, L, D, N)$ — أكبر بكثير من المُدخَل نفسه. على المعالج الرسومي يعني هذا تنقّلاً مستمراً بين الذاكرة الرئيسية البطيئة (HBM) والذاكرة المحلية السريعة (SRAM)، وهذا هو عنق الزجاجة الفعلي في العمليات غير الضربية.

تتغلّب مامبا على هذه المشكلة بدمج ثلاث تقنيات معروفة في نواة حسابية واحدة:

• دمج النواة. تُحمَّل المعاملات الصغيرة $(Δ, A, B, C)$ من HBM إلى SRAM مرة واحدة، ثم يُنفَّذ التمييز والمسح الكامل وحساب المُخرَج بالكامل داخل SRAM، ولا يُكتب إلى HBM إلا الناتج النهائي. هذا يقلّص عمليات القراءة من الذاكرة بمقدار $N$ (بُعد الحالة).

• المسح المتوازي. التكرار $h_t = \bar A_t h_{t-1} + \bar B_t x_t$ يملك خاصية التجميع (associativity)، فيمكن حسابه بالتوازي عبر مجموع بادئي كفء (مسح بليلوك)، مما يتجنّب عنق الزجاجة التسلسلية.

• إعادة الحساب. أثناء التمرير العكسي، بدلاً من تخزين جميع الحالات الوسيطة، تُعاد حسابها فورياً من المُدخلات الصغيرة الموجودة في SRAM أصلاً. هذا يُبقي استهلاك الذاكرة مكافئاً لـFlashAttention.

في معظم بنيات فضاء الحالة السابقة (مثل H3 وHyena)، كانت البنية تتناوب بين كتلة فضاء حالة وكتلة MLP مستقلة، تماماً كما يتناوب المُحوِّل بين طبقة انتباه وطبقة MLP. مامبا تتخلّص من هذا التناوب بدمج الاثنين في كتلة واحدة متجانسة مستوحاة من وحدة الانتباه ذات البوابة.

كل كتلة مامبا تتكوّن من فرعين متوازيين:

• الفرع الرئيسي: إسقاط خطّي ← التفاف أحادي البُعد ← تفعيل SiLU ← فضاء حالة انتقائي
• فرع البوابة: إسقاط خطّي ← تفعيل SiLU

ناتجا الفرعين يُضربان عنصراً بعنصر، ثم يُسقطان إلى بُعد النموذج الأصلي. الالتفاف أحادي البُعد هنا التفاف محلي قصير (بحجم نواة 4) يوفّر سياقاً محلياً قبل أن يتولّى فضاء الحالة الانتقائي معالجة السياق الشامل.

ملاحظة عملية مهمة: كتلتا مامبا تحتويان نفس عدد المعاملات الذي يحتويه زوج واحد من طبقتَي انتباه+MLP في المحوِّل (نحو $12D^2$ معامل)، ما يجعل المقارنة بينهما عادلة ومباشرة.

اختُبرت مامبا على ثلاثة أنواع من البيانات — اللغة والحمض النووي والصوت — وحقّقت أرقاماً قياسية جديدة بين النماذج دون التربيعية في كلّ منها:

• اللغة: مامبا بثلاثة مليارات معامل تفوّقت على محوِّلات بالحجم نفسه (Pythia-3B) بأربع نقاط في مهام الاستدلال المنطقي، بل تجاوزت Pythia-7B الذي يفوقها حجماً بأكثر من الضعف. وحين قُورنت بأقوى إعدادات المحوِّلات المُحسَّنة (وصفة LLaMA أي ++Transformer)، حقّقت مامبا قيم حيرة مكافئة عند جميع الأحجام من 125 مليون إلى 1.3 مليار معامل.

• الحمض النووي: مامبا كانت النموذج الوحيد الذي تحسّنت حيرته باطّراد مع زيادة طول السياق وصولاً إلى تسلسلات بطول مليون رمز. وفي مهمة تصنيف للتمييز بين خمسة أنواع من القردة العليا (تتشارك 99% من شفرتها الجينية)، تفوّقت مامبا بوضوح على HyenaDNA.

• الصوت: في توليد الكلام (SC09)، تفوّق نموذج مامبا صغير بستة ملايين معامل على نماذج GAN والانتشار الأكبر حجماً بكثير. ونموذج بأربعة وعشرين مليون معامل خفّض درجة FID إلى 0.67 — أفضل نتيجة لنموذج ذاتي الارتجاع حتى وقتها.

• السرعة: مامبا تحقّق إنتاجية استدلال أعلى بخمسة أضعاف من محوِّلات بحجم مماثل، والسبب أنها لا تحتاج ذاكرة مفاتيح وقيم — كل ما تحتفظ به حالة مخفية ثابتة الحجم. عملياً هذا يعني أن مامبا بـ6.9 مليار معامل أسرع عند التوليد من محوِّل بـ1.3 مليار.

الدرس الأعمق الذي قدّمته مامبا هو أن جعل التكرار واعياً بالمحتوى — وهو تعديل بسيط على المستوى المفاهيمي — يكفي لسدّ الفجوة بين نماذج الزمن الخطّي والمحوِّلات. مبدأ الانتقائية لا يقتصر على فضاءات الحالة: أي بنية تكرارية تستفيد من ربط سلوكها بالمُدخَل. هذا المبدأ يشكّل اليوم جبهة بحثية نشطة، حيث يبني عليه Mamba-3 والبنيات الهجينة بين فضاء الحالة والانتباه ومتغيّرات مامبا المخصّصة للرؤية الحاسوبية والصوت.