SwiGLU

دالة تنشيط مبوّبة تجمع بين دالة Swish الناعمة وبوابة خطية مُتعلَّمة، تستبدل ReLU في شبكة التغذية الأمامية لـ LLaMA والمحوِّلات اللاحقة. تمنح الشبكة تحكماً أدق في تدفق المعلومات وتتفادى مشكلة الخلايا العصبية الميتة.

A gated activation function combining the smooth Swish function with a learned linear gate, replacing ReLU in LLaMA's feed-forward network. Gives the network finer control over information flow and avoids the dead neuron problem.

Also translated asوحدة خطية مبوّبة بـ Swish، تنشيط SwiGLU

First appears in this corpus in: PaLM: Scaling Language Modeling with Pathways (2022)

Appears in these papers

DeepSeek-V3 Technical Report2024 in the sky ✦
The Falcon Series of Open Language Models2023 in the sky ✦
Llama 2: Open Foundation and Fine-Tuned Chat Models2023 in the sky ✦
The Llama 3 Herd of Models2024 in the sky ✦
LLaMA: Open and Efficient Foundation Language Models2023 in the sky ✦
Mixtral of Experts2024 in the sky ✦
PaLM: Scaling Language Modeling with Pathways2022 in the sky ✦