الذاكرة عالية النطاق

الذاكرة الرئيسية للمعالج الرسومي، كبيرة السعة (40–80 غيغابايت) لكن بطيئة نسبياً (~2 تيرابايت/ثانية). الانتباه المعياري يكتب مصفوفة N×N هنا وهو ما يسبّب عنق الزجاجة.

The GPU's main memory, large in capacity (40–80 GB) but relatively slow (~2 TB/s). Standard attention writes the full N×N matrix here, which is the bottleneck FlashAttention eliminates.