Materialization

كتابة مصفوفة وسيطة بالكامل في الذاكرة الرئيسية. FlashAttention يتجنب تجسيد مصفوفة الانتباه N×N وهو ما يوفّر الذاكرة بشكل جذري.

Writing out a complete intermediate matrix to main memory. FlashAttention avoids materializing the N×N attention matrix, which is what saves memory so dramatically.