التقرير التقني لـ DeepSeek-V3

لنبدأ من المشكلة. في الانتباه متعدد الرؤوس المعياري، كل رمز يُخزّن متجه مفتاح ومتجه قيمة لكل رأس انتباه على حدة. أثناء الاستدلال، لا بدّ أن تبقى كل هذه الأزواج من الرموز السابقة في ذاكرة GPU — وهذا ما نسمّيه ذاكرة KV التخزينية. المشكلة أنها تنمو خطياً مع طول السياق وعدد الرؤوس. في نموذج يملك 128 رأساً ويُولّد سياقاً من 128 ألف رمز، قد تلتهم ذاكرة KV وحدها مئات الجيجابايتات.

الانتباه بالاستعلام المجمَّع خفّف المشكلة بمشاركة رؤوس المفتاح والقيمة بين مجموعات، فتقلّ الذاكرة بمقدار ثابت. لكن MLA ينتهج مساراً مختلفاً جذرياً: الضغط المشترك منخفض الرتبة. الفكرة ببساطة أنّنا بدل أن نُخزّن متجهات كاملة لكل رأس، نضغط تمثيل الرمز كلّه في متجه كامن صغير واحد $\mathbf{c}_t^{KV}$ بُعده $d_c$، وهو أصغر بكثير من حاصل ضرب $d_h \cdot n_h$.

تخيّل الأمر هكذا: بدل أن يكتب كل طبيب في المستشفى ملفاً كاملاً عن المريض، يتّفق الجميع على ملخّص مُكثَّف واحد. وحين يحتاج أحدهم إلى التفاصيل، يُعيد بناءها من الملخّص لحظياً. مساحة الأرشيف — أي ذاكرة KV — تنخفض بحدّة، لكن جودة التشخيص — أي الانتباه — تظل كما هي.

لكن هناك نقطة دقيقة ينبغي الانتباه لها. تضمين الموضع الدوراني يعتمد على موقع الرمز في السلسلة ليُرمّز معلومات الموضع داخل المفاتيح والاستعلامات. المشكلة أننا لا نستطيع تطبيقه قبل الضغط، لأن المتجه الكامن لا يحمل أي معلومة عن الموقع. الحل الذي ابتكره DeepSeek-V3 هو إضافة مفتاح دوراني صغير منفصل $\mathbf{k}_t^R$ مهمّته الوحيدة حمل معلومة الموضع. وبذلك يصبح المفتاح النهائي ضمّاً لشقّين: $\mathbf{k}_{t,i} = [\mathbf{k}_{t,i}^C ; \mathbf{k}_t^R]$ — المحتوى يأتي من الكامن، والموقع يأتي من المفتاح الدوراني المنفصل. بهذه الطريقة نحافظ على ترميز الموضع بشكل سليم دون أن نخسر ميزة الضغط.

في المحوّل الكثيف، كل معامل يشتغل على كل رمز بلا استثناء — وهذا إسراف واضح، لأن رمزاً بسيطاً مثل «ال» لا يحتاج القدر نفسه من الحساب الذي يحتاجه اشتقاق رياضي معقّد. مزيج الخبراء يُعالج هذا الهدر بفكرة ذكية: بدل طبقة تغذية أمامية كثيفة واحدة، نضع مجموعة من شبكات صغيرة متخصصة — أي «خبراء» — مع آلية بوابة توجّه كل رمز إلى الخبراء الأنسب له فقط.

في DeepSeek-V3، كل طبقة مزيج خبراء تحتوي على 256 خبيراً موجَّهاً وخبير مشترك واحد. لكل رمز تختار البوابة أفضل 8 خبراء، فلا يعمل فعلياً سوى 37 مليار معامل من أصل 671 مليار — نحو 5.5% فقط. الخبير المشترك يمرّ عليه كل رمز ويُمثّل المعرفة العامة، بينما الخبراء الموجَّهون يتخصص كل منهم في نمط أو مجال مختلف.

تخيّل الأمر كغرفة اجتماعات فيها مدير حوار دائم — هو الخبير المشترك — يحضر كل جلسة. ولكل موضوع يُستدعى 8 من 256 متخصصاً حسب الصلة بالموضوع. البقية جاهزون لكنهم لا يستهلكون وقت الاجتماع.

مشكلة موازنة الحمل. في أنظمة مزيج الخبراء التقليدية، تظهر مشكلة متكررة: بعض الخبراء يجذبون معظم الرموز ويصبحون مُحمَّلين فوق طاقتهم، بينما يبقى آخرون بلا عمل — فتُهدَر معاملاتهم وتنشأ اختناقات حسابية. الحلول السابقة أضافت دالة خسارة مساعدة تُعاقب التوزيع غير المتوازن. لكن المشكلة أن هذه الخسارة الإضافية تتنافس مع الهدف الأساسي للنمذجة اللغوية: النموذج يُضطرّ للاختيار بين إرسال الرمز إلى أفضل خبير له وبين توزيع الحمل بالتساوي. حتى المعاملات الصغيرة لهذه الخسارة المساعدة تضرّ بالجودة.

ابتكار DeepSeek-V3 هنا أنه تخلّص من الخسارة المساعدة تماماً. بدلاً منها، تستخدم البوابة انحيازاً ديناميكياً $b_i$ لكل خبير. الفكرة بسيطة: إذا كان الخبير $i$ يستقبل رموزاً أكثر من اللازم، ينخفض انحيازه $b_i$ فيقلّ احتمال اختياره. وإذا كان قليل الاستخدام، يرتفع انحيازه. الأهم أن هذه التحديثات منفصلة تماماً عن التدرّج — فهي توجّه التوزيع دون أن تُلوّث إشارة التدريب.

النماذج الذاتية الانحدار المعيارية تتنبّأ برمز واحد في كل خطوة: أعطني كل الرموز السابقة وسأخبرك بالتالي. التنبؤ بعدة رموز يُوسّع هذه الفكرة: عند كل موضع، يتنبّأ النموذج ليس بالرمز التالي فقط بل بالرموز $D$ التالية معاً. في DeepSeek-V3 قيمة $D = 2$، أي رمز استشرافي إضافي واحد.

ما الفائدة من ذلك؟ حين تُطالب النموذج بالتنبؤ بأكثر من رمز واحد، فأنت تُجبره على بناء تمثيلات أغنى وأعمق للسياق. نموذج يحتاج أن يتنبّأ بالرمز $t+2$ من الموضع $t$ لا بدّ أن يفهم البنية بعمق أكبر من نموذج لا يرى إلا خطوة واحدة إلى الأمام. الأمر أشبه بلاعب شطرنج يُخطّط لنقلتين بدل واحدة — التفكير لنقلتين يُحسّن فهمه الموضعي حتى للنقلة المباشرة التالية.

معمارياً، لكل عمق تنبؤ إضافي $k$ وحدة MTP خاصة تتكوّن من طبقة تضمين مشتركة، ومصفوفة إسقاط، وكتلة محوّل واحدة، ورأس مخرجات. وحدة MTP عند العمق $k$ تأخذ تمثيل النموذج الأساسي من الموضع $t$ وتدمجه مع تضمين الرمز الحقيقي عند الموضع $t+k-1$ لتتنبّأ بالرمز $t+k$.

أغلب النماذج الكبيرة تُدرَّب بدقة BF16 أي 16 بت. DeepSeek-V3 ذهب أبعد وخفض الدقة إلى FP8 — أي 8 بت — في جميع عمليات ضرب المصفوفات داخل الطبقات الخطية، فتقلّصت الحوسبة والذاكرة إلى النصف تقريباً. وهذا أول تطبيق ناجح لتدريب FP8 على نموذج يتجاوز 600 مليار معامل.

التحدي هنا أن 8 بتات تعني نطاقاً عددياً ودقة أقل بكثير. لو استخدمت FP8 مباشرة بلا حذر، ستجد أن التدرّجات تطفح والتنشيطات تتشوّه والنموذج يتباعد — أي أن استقرار التدريب ينهار. DeepSeek-V3 تغلّب على هذا بثلاث تقنيات:

أولاً، التكميم الدقيق الحبيبي: بدل معامل قياس واحد لكل مُوتّر كامل، يُستخدَم معامل لكل مجموعة من 128 عنصراً — سواء في التنشيطات أو الأوزان. هذا يلتقط التباين المحلي الذي يُفوّته معامل قياس شامل.

ثانياً، التراكم بدقة عالية: نتائج ضرب FP8 تُجمع في سجلات FP32 كل 128 عنصراً، فلا تتراكم أخطاء التقريب.

ثالثاً، التكميم اللحظي: معاملات القياس تُحسب من إحصائيات الدفعة الحالية مباشرة وليس من الدفعة السابقة، فتعكس دائماً التوزيع الفعلي للبيانات.

تدريب نموذج بـ 671 مليار معامل على 2048 وحدة GPU يستلزم استراتيجية توازٍ مُحكمة. DeepSeek-V3 يجمع بين توازي خط الأنابيب الذي يوزّع الطبقات على الوحدات، وتوازي الخبراء الذي يوزّع خبراء MoE على العقد، وتوازي البيانات الذي يُكرّر النموذج عبر دفعات التدريب — لكنه تجنّب توازي المُوتّرات لأنه مُكلف ذاكرياً.

الابتكار الأبرز هنا هو خوارزمية DualPipe. المشكلة في توازي خط الأنابيب المعياري أنه يخلق «فقاعات» — فترات خمول تنتظر فيها مرحلة من الأنبوب وصول بيانات من المرحلة السابقة. DualPipe تحلّ هذا بتراكب ذكي: التمرير الأمامي لدفعة مصغّرة يعمل بالتزامن مع التمرير العكسي لدفعة سابقة، والأهم أن اتصال الكل-إلى-الكل — الضروري لتوزيع رموز مزيج الخبراء — يحدث أثناء الحوسبة لا بعدها.

الأمر أشبه بخط تجميع في مصنع: العمّال يتسلّمون مواد المنتج التالي وأيديهم مشغولة بإنهاء الحالي. لا أحد ينتظر أبداً، والتوصيل يجري أثناء العمل.

النتيجة: عبء اتصال يقترب من الصفر. وطالما بقيت نسبة الحوسبة إلى الاتصال ثابتة، يستطيع DeepSeek-V3 التوسّع إلى نماذج أكبر بخبراء أكثر دقة على عقد أكثر من دون دفع «ضريبة اتصال» إضافية.

التدريب المسبق جرى على 14.8 تريليون رمز عالي الجودة ومتنوع — معظمه بالإنجليزية والصينية — على مدار نحو 55 يوماً على عنقود من 2048 وحدة NVIDIA H800. الملفت أن التدريب كان مستقراً بصورة استثنائية: الفريق لم يُبلّغ عن أي قفزة خسارة كارثية ولا أي تراجع إلى نقطة حفظ سابقة طوال العملية. وهذا نادر، لأن معظم النماذج المتقدمة تمرّ بقفزات خسارة عديدة تستدعي إعادة التشغيل من نقاط حفظ سابقة.

جدول معدَّل التعلُّم مرّ بمرحلتين: تسخين ثم تقويض جيبي من ذروة $2.2 \times 10^{-4}$ إلى $2.2 \times 10^{-5}$. بعد ذلك وُسّعت نافذة السياق على مرحلتين: من 4 آلاف إلى 32 ألف ثم إلى 128 ألف رمز، بتكلفة إضافية لم تتجاوز 119 ألف ساعة GPU.

التكلفة الإجمالية: 2.788 مليون ساعة H800، أي نحو 5.576 مليون دولار بسعر دولارين لكل ساعة وحدة. قارن هذا بتقدير تكلفة تدريب GPT-4 الذي يتراوح بين 50 و100 مليون دولار. DeepSeek-V3 حقّق جودة مماثلة بنحو عُشر التكلفة.

بعد التدريب المسبق، يدخل DeepSeek-V3 مرحلتين من التدريب اللاحق: الضبط الدقيق الموجَّه ثم التعلّم المعزّز.

في الضبط الدقيق الموجَّه، أعدّ الفريق 1.5 مليون مثال لاتباع التعليمات تغطّي الاستدلال والبرمجة والرياضيات والكتابة الإبداعية والمعرفة العامة. الابتكار الجوهري هنا هو استخدام بيانات استدلال مُقطَّرة من DeepSeek-R1 — وهو نموذج منفصل متخصص في الاستدلال يُولّد حلولاً تفصيلية عبر سلسلة التفكير. الفريق استخدم R1 لتوليد مسارات استدلال لمسائل الرياضيات والبرمجة، ثم فلترها بناءً على صحة الإجابة. هذا الأسلوب نقل أنماط الاستدلال من R1 — بما فيها التحقق والمراجعة الذاتية — إلى V3 دون أن تصبح مخرجاته مُطوَّلة بلا داعٍ.

في مرحلة التعلّم المعزّز، يستخدم DeepSeek-V3 طريقة أمثَلة السياسة النسبية للمجموعة (GRPO) بدلاً من PPO المعيارية. ميزة GRPO أنها تستغني عن شبكة ناقد منفصلة (دالة قيمة) وتُقدّر خط الأساس من درجات المجموعة داخل كل دفعة. وتعتمد على نوعين من نماذج المكافأة: مكافآت قائمة على قواعد للمسائل ذات الإجابات القابلة للتحقق كالرياضيات والبرمجة، ومكافآت قائمة على نماذج للمهام المفتوحة كالكتابة. هذا المزيج يحفظ التوازن بين الدقة وجودة الأسلوب.

على صعيد النتائج، يُسجّل DeepSeek-V3 نتيجة 88.5 على MMLU و75.9 على MMLU-Pro و59.1 على GPQA — وهي أرقام تُطابق أو تتجاوز ما حقّقه GPT-4o وClaude 3.5 Sonnet في اختبارات المعرفة العامة. في الرياضيات حصل على 90.2 في MATH-500 متفوّقاً حتى على o1-preview في هذا الاختبار بالذات. وفي البرمجة تصدّر LiveCodeBench وCodeforces، وحقّق درجات تنافسية في SWE-Bench Verified لمهام هندسة البرمجيات. أمّا في اختبارات المعرفة الصينية فقد تفوّق على جميع النماذج بما فيها GPT-4o، وهو ما يعكس قوة بيانات تدريبه ثنائية اللغة.

أعاد DeepSeek-V3 رسم معادلة التكلفة والجودة في الذكاء الاصطناعي. أثبت أن التصميم المعماري المدروس — التنشيط المتناثر، والانتباه المضغوط، والتوازي المصمَّم حسب العتاد — يستطيع أن يُقدّم جودة من الدرجة الأولى بتكلفة تناسب المختبرات الأكاديمية والشركات الصغيرة، وليس عمالقة التقنية فحسب. إطلاقه كمصدر مفتوح وضع القدرات المتقدمة في متناول الجميع. والأثر الأعمق أنه كان الأساس الذي بُني عليه DeepSeek-R1، فمكّن الاختراق الذي أثبت أن الاستدلال يمكن أن ينشأ من التعلّم المعزّز وحده.