Online Softmax

تقنية تحسب softmax تراكمياً كتلةً كتلة بحفظ قيمة عظمى ومجموع أُسّي جاريين وإعادة القياس عند وصول كل كتلة جديدة، فتُنتج النتيجة الدقيقة ذاتها دون الحاجة لرؤية الصف بأكمله دفعة واحدة.

A technique that computes softmax incrementally block by block, maintaining a running maximum and exponential sum and rescaling as each new block arrives, producing the exact same result without needing to see the entire row at once.