Gated Activation

آلية تنشيط تجمع بين فرع tanh (يقترح المحتوى) وفرع sigmoid (يتحكم بتمريره) عبر ضرب عنصري. مستوحاة من بوّابات LSTM، تمنح الشبكة قدرة تعبيرية أعلى من ReLU في مهام مثل توليد الصوت.

An activation mechanism combining a tanh branch (proposing content) and a sigmoid branch (controlling flow) via element-wise multiplication. Inspired by LSTM gates, it gives the network greater expressiveness than ReLU for tasks like audio generation.