GPTQ: تكميم دقيق بعد التدريب للمحوِّلات التوليدية المُدرَّبة مسبقاً

يضمّ GPT-3 نحو 175 مليار معامل. حين تُخزَّن هذه المعاملات بصيغة FP16 — أي 16 بتاً لكل عدد — تحتلّ قرابة 326 غيغابايت من الذاكرة، وهذا أكبر مما تتسع له أيّ بطاقة رسوميات منفردة. لتشغيل الاستدلال لا بدّ إذاً من توزيع النموذج على عدة بطاقات باهظة الثمن، وهو ما يضعه خارج متناول معظم الباحثين والمطوّرين.

لكن لاحظ أن العنق الحقيقي هنا ليس سرعة الحساب، بل عرض حزمة الذاكرة. أثناء التوليد التراجعي يحتاج كل رمز جديد إلى تحميل النموذج بأكمله من الذاكرة، فسرعة التوليد محكومة بسرعة قراءة الأوزان لا بسرعة ضربها. لو تمكّنت من تخزين كل وزن في 4 بتات بدلاً من 16، لقلّت حاجتك للذاكرة أربع مرات ولتحمّلت الأوزان أسرع بأربع مرات — وهذا يعني تسريعاً مباشراً في التوليد.

من هنا تأتي أهمية التكميم: الفكرة ببساطة هي استبدال الأعداد عالية الدقة (عوامات 16 بت) بأعداد أخشن بكثير (أعداد صحيحة من 3–4 بتات). التحدي الحقيقي هو كيف تفعل ذلك دون أن تُدمّر أداء النموذج.

بدلاً من محاولة تكميم النموذج بأكمله دفعة واحدة، تتبع GPTQ استراتيجية أبسط وأذكى: تُعالج كل طبقة على حدة. لكل طبقة خطية لدينا مصفوفة أوزان $\mathbf{W}$ ومجموعة صغيرة من بيانات المعايرة $\mathbf{X}$ — مجرد 128 عيّنة تكفي. المطلوب هو إيجاد أوزان مُكمَّمة $\hat{\mathbf{W}}$ تجعل مخرج الطبقة أقرب ما يمكن من مخرجها الأصلي. صياغة ذلك رياضياً:

فكّر في الأمر كسباق تتابع: لو حافظ كل عدّاء على إيقاع يقارب إيقاع الفريق الأصلي، فإن الزمن الكلي يظل شبه ثابت. تباطؤ عدّاء واحد بمقدار طفيف لن يُفسد السباق — لكن لو انهار الجميع معاً لكانت كارثة. هذا هو جوهر النهج طبقةً بطبقة: ضمان أن كل «عدّاء» يحافظ على سرعته.

بُنيت GPTQ على عمل سابق يُعرف بـ«التكميم الأمثل للدماغ» (OBQ)، وهو بدوره امتداد لإطار الجراح الأمثل للدماغ الكلاسيكي الذي كان يُستخدم في التقليم، لكن OBQ وسّعه ليشمل التكميم. الفكرة الجوهرية: كمِّم الأوزان واحداً تلو الآخر، وبعد كل عملية تكميم عدِّل جميع الأوزان المتبقية — التي ما زالت بدقّتها الكاملة — لتعويض خطأ التقريب الذي حدث. اتجاه هذا التعديل تُرشده معكوسة مصفوفة هسّ $\mathbf{H}^{-1}$.

عملياً، حين تُكمّم الوزن $w_q$ الواقع في الموضع $q$، يكون خطأ التكميم هو $w_q - \text{quant}(w_q)$، والتعديل الأمثل لبقية الأوزان يأخذ الشكل التالي:

المشكلة أن OBQ تُعالج كل صف من مصفوفة الأوزان $\mathbf{W}$ باستقلالية تامة، وتختار ترتيباً جشعاً مختلفاً لكل صف. ماذا يعني ذلك عملياً؟ أن معكوسة هسّ يجب أن تُحدَّث من جديد لكل صف في كل طبقة. لمصفوفة بأبعاد $d_{\text{row}} \times d_{\text{col}}$ يصبح زمن التنفيذ $O(d_{\text{row}} \cdot d_{\text{col}}^3)$ — أي مكعّب في بُعد الأعمدة. على نموذج بحجم ResNet-50 (25 مليون معامل) يستغرق ذلك نحو ساعة. أما على OPT-175B فسيحتاج سنوات.

أجرت GPTQ ثلاثة تعديلات على OBQ أدّت مجتمعةً إلى خفض زمن التنفيذ بأكثر من ثلاث مراتب من المقادير (أي أكثر من ألف ضعف) — وهذا كافٍ لتكميم OPT-175B في نحو أربع ساعات على بطاقة رسوميات واحدة.

الابتكار الأول — ترتيب ثابت للأعمدة. اكتشف الباحثون أنه في الطبقات الكبيرة كثيفة المعاملات، لا يُقدّم الترتيب الجشع الذي يتّبعه OBQ سوى تحسّن هامشي مقارنة بترتيب ثابت عشوائي. والسبب بديهي حين تفكّر فيه: في طبقة تحتوي آلاف الأوزان، قرارات التقريب «السيئة» القليلة الناتجة عن ترتيب غير مثالي تذوب وسط آلاف التعويضات «الجيدة». الفائدة العملية الكبرى هنا هي أنه بتكميم جميع الصفوف بـترتيب أعمدة واحد ثابت، تصبح معكوسة هسّ $\mathbf{H}_F^{-1}$ مشتركة بين كل الصفوف. لم يعد ضرورياً تحديث المعكوسة إلا $d_{\text{col}}$ مرة بدلاً من $d_{\text{row}} \times d_{\text{col}}$ مرة — أي أنك وفّرت عامل $d_{\text{row}}$ بالكامل من زمن التنفيذ.

الابتكار الثاني — التحديثات بالدُّفعات الكسولة. حتى مع الترتيب الثابت تبقى مشكلة: تحديث مصفوفة الأوزان المتبقية بالكامل بعد كل وزن منفرد هو عملية مقيّدة بـعرض حزمة الذاكرة — قراءات وكتابات كثيرة جداً مقابل عمليات حسابية قليلة. الحل أن تُجمّع GPTQ التحديثات في كُتل: تُعالج $B = 128$ عموداً معاً وتحتفظ بالتحديثات الوسيطة محلياً داخل الكتلة، وعند الانتهاء منها فقط تُطبّق تحديثاً مصفوفياً كبيراً واحداً على بقية الأوزان. بهذا تتحوّل عشرات العمليات الصغيرة المقيّدة بالذاكرة إلى عمليات ضرب مصفوفي كبيرة — وهي بالضبط نوع العمليات التي تتفوّق فيها بطاقات الرسوميات.

الابتكار الثالث — معكوسة هسّ عبر تفكيك تشوليسكي. في OBQ يُحذف من معكوسة هسّ صف وعمود بعد كل خطوة باستخدام الحذف الغاوسي، وهذا يُراكم أخطاءً عددية مع تقدّم العملية. GPTQ تحلّ المشكلة بحساب تفكيك تشوليسكي لـ$\mathbf{H}^{-1}$ مرة واحدة مسبقاً، ثم تقرأ عناصر المعكوسة المطلوبة صفاً بصف من التفكيك مباشرة. النتيجة أسرع وأكثر استقراراً عددياً، مع إضافة حدّ تخميد صغير $\lambda \mathbf{I}$ للتعامل مع الحالات التي تكون فيها هسّ شبه منفردة.

فيما يلي الإجراء الكامل لخوارزمية GPTQ على طبقة واحدة. المدخل هو مصفوفة الأوزان $\mathbf{W}$ إلى جانب مصفوفة هسّ $\mathbf{H} = 2\mathbf{X}\mathbf{X}^\top$ المحسوبة من بيانات المعايرة، والمخرج هو المصفوفة المُكمَّمة $\hat{\mathbf{W}}$.

النتيجة الأبرز: تُكمّم GPTQ نموذجي OPT-175B وBLOOM-176B إلى 4 بتات مع ارتفاع في الحيرة لا يتجاوز 0.05 نقطة على مجموعة WikiText-2. قارن ذلك بطريقة التقريب لأقرب قيمة (RTN) التي ترفع الحيرة عادةً بمقدار 1–2 نقطة أو أكثر. والأهم أنه عند 3 بتات — وهو مستوى ضغط شديد — لا تزال GPTQ تُنتج نماذج صالحة للاستخدام، بينما ينهار RTN تماماً وتنفجر الحيرة بمراتب من المقادير.

النقطة المحورية هنا أن الفجوة بين GPTQ وRTN تتّسع كلما كبر النموذج. على النماذج الصغيرة (125 مليون معامل) يبقى RTN منافساً بشكل مقبول. لكن حين تنتقل إلى OPT-175B، يُعطي RTN عند 4 بتات حيرة تبلغ 10.54 في مقابل 8.37 لـGPTQ (بينما خط الأساس بصيغة FP16 هو 8.34). بعبارة أخرى: كلما كبر النموذج ازدادت أهمية GPTQ — وهذا بالتحديد النطاق الذي نحتاج فيه إلى ضغط النماذج أكثر من أي نطاق آخر.

الفائدة لا تقتصر على الحفاظ على الدقة — بل تمتد إلى تسريع حقيقي في الاستدلال. طوّر الباحثون نوى GPU مخصصة تُجري إزالة التكميم أثناء الضرب المصفوفي مباشرة دون الحاجة لتحويل مسبق. ولأن التوليد التراجعي مقيّد بـعرض حزمة الذاكرة وليس بالقدرة الحسابية، فإن قراءة ربع عدد البايتات لكل وزن تتحوّل مباشرة إلى توليد أسرع.

النتائج الملموسة: تسريع بنحو 3.25 ضعف على بطاقة NVIDIA A100 و4.5 ضعف على NVIDIA A6000 في الاستدلال التوليدي الشامل. والأهم من ذلك أن نموذج OPT-175B بـ4 بتات يسع بالكامل في 80 غيغابايت من بطاقة A100 واحدة — وهذه أول مرة يعمل فيها نموذج بـ175 مليار معامل على بطاقة رسوميات واحدة في مهام التوليد.

من المهم أن ندرك حدود GPTQ. أولاً، هي تُكمّم الأوزان فقط — أما التنشيطات فتبقى بصيغة FP16. في معظم سيناريوهات التوليد هذا مقبول تماماً لأن العنق هو تحميل الأوزان لا حساب التنشيطات. لكن حين تنتقل إلى الاستدلال بالدُّفعات مع عشرات الطلبات المتزامنة، يصبح تكميم التنشيطات ضرورياً أيضاً، وGPTQ لا تتناول هذا الجانب.

ثانياً، الطريقة لا تُسرّع عمليات الضرب ذاتها لأن العتاد الحالي يفتقر إلى دعم أصلي لعمليات الدقة المختلطة من نوع FP16 × INT4. التسريع بأكمله مصدره تقليل حركة البيانات من الذاكرة وإليها. وأخيراً، عند الدفع نحو التكميم بـ2 بت أو التكميم الثلاثي، تبدأ الدقة بالتراجع بشكل ملحوظ — GPTQ تدفع الحدود بعيداً لكنها لا تُلغي المفاضلة الجوهرية بين الدقة والضغط.