SwiGLU

دالة تنشيط مبوّبة تجمع بين دالة Swish الناعمة وبوابة خطية مُتعلَّمة، تستبدل ReLU في شبكة التغذية الأمامية لـ LLaMA والمحوِّلات اللاحقة. تمنح الشبكة تحكماً أدق في تدفق المعلومات وتتفادى مشكلة الخلايا العصبية الميتة.

A gated activation function combining the smooth Swish function with a learned linear gate, replacing ReLU in LLaMA's feed-forward network. Gives the network finer control over information flow and avoids the dead neuron problem.