Swish

دالة تنشيط ناعمة ذاتية البوابة تُعرَّف بـ Swish(x) = x · σ(x) حيث σ دالة السيغمويد. على عكس ReLU تسمح بقيم سالبة صغيرة مما يمنع مشكلة الخلايا العصبية الميتة ويُحسِّن تدفق متجهات الميل.

A smooth, self-gated activation function defined as Swish(x) = x · σ(x) where σ is the sigmoid function. Unlike ReLU, it allows small negative values, preventing the dead neuron problem and improving gradient flow.