Swish

دالة تنشيط ناعمة ذاتية البوابة تُعرَّف بـ Swish(x) = x · σ(x) حيث σ دالة السيغمويد. على عكس ReLU تسمح بقيم سالبة صغيرة مما يمنع مشكلة الخلايا العصبية الميتة ويُحسِّن تدفق متجهات الميل.

A smooth, self-gated activation function defined as Swish(x) = x · σ(x) where σ is the sigmoid function. Unlike ReLU, it allows small negative values, preventing the dead neuron problem and improving gradient flow.

Also translated asدالة سويش، تنشيط سويش

First appears in this corpus in: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (2019)

Appears in these papers

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks2019 in the sky ✦
LLaMA: Open and Efficient Foundation Language Models2023 in the sky ✦
LLaMA: Open and Efficient Foundation Language Models2023 in the sky ✦