Recomputation

تقنية توفير ذاكرة تتجنّب تخزين الحالات الوسيطة أثناء الممر الأمامي وتُعيد حسابها أثناء الممر العكسي بدلاً من ذلك. تستخدمها مامبا لمساواة استهلاك ذاكرتها بـFlashAttention.

A memory-saving technique that avoids storing intermediate states during the forward pass and recomputes them during the backward pass instead. Used by Mamba to match FlashAttention's memory consumption.