IO Complexity

مقياس لعدد عمليات القراءة والكتابة بين مستويات الذاكرة المختلفة (مثل SRAM وHBM) التي تحتاجها خوارزمية ما، وهو المقياس الذي استخدمه FlashAttention بدل عدّ العمليات الحسابية.

A measure of the number of read/write operations between different memory levels (e.g. SRAM and HBM) that an algorithm requires — the metric FlashAttention uses instead of counting FLOPs.