ذاكرة المفاتيح والقيم

في المحوِّلات، تُخزَّن مصفوفات المفاتيح والقيم لكل الرموز السابقة أثناء الاستدلال الارتجاعي. هذه الذاكرة تنمو خطياً مع طول التسلسل، مستهلكة ذاكرة المعالج الرسومي ومبطئة عملية التوليد. مامبا تتجنّبها كلياً بحالة مخفية ثابتة الحجم.

In Transformers, the Key and Value matrices from all previous tokens are stored during autoregressive inference. This cache grows linearly with sequence length, consuming GPU memory and slowing generation. Mamba avoids this entirely with a fixed-size hidden state.