Block-Sparse Attention

امتداد لـ FlashAttention يتخطى كتلاً كاملة من مصفوفة الانتباه وفق قناع تناثر محدد مسبقاً، فيحقق تسريعاً إضافياً يتناسب مع نسبة الكتل المتخطّاة.

An extension of FlashAttention that skips entire blocks of the attention matrix according to a predefined sparsity mask, yielding additional speedup proportional to the fraction of blocks skipped.