SiLU

دالة تنشيط تُعرَّف بالصيغة SiLU(x) = x·σ(x)، حيث σ هي الدالة السينية اللوجستية. قُدِّمت في ورقة GELU الأصلية ثم أُعيد اكتشافها باسم «Swish». تشبه GELU لكنها تستخدم التوزيع اللوجستي بدلاً من الغاوسي.

An activation function defined as SiLU(x) = x·σ(x), where σ is the logistic sigmoid. Introduced in the original GELU paper, later independently proposed as 'Swish.' Similar to GELU but uses the logistic CDF instead of the Gaussian.