الـ logsumexp

دالة تجمع بين القيمة القصوى ولوغاريتم مجموع الأُسّيّات في قيمة واحدة مستقرّة عددياً. تُستخدم في FlashAttention-2 لتخزين إحصاءات softmax بكفاءة.

A function that combines the maximum value and the log of the sum of exponentials into a single numerically stable quantity. Used in FlashAttention-2 to efficiently store softmax statistics.