Weight-Only Quantization

نهج تكميم يُقلّل دقة الأوزان (المعاملات) فقط مع الإبقاء على التنشيطات بالدقة الأصلية. مناسب للتوليد التراجعي حيث يكون عرض حزمة الذاكرة هو العائق الرئيسي.

A quantization approach that reduces precision of weights (parameters) only, keeping activations at original precision. Suitable for autoregressive generation where memory bandwidth is the bottleneck.