GeGLU

دالة تنشيط بوّابية تقسم البُعد المخفي في طبقة التغذية الأمامية إلى نصفين: أحدهما يُنشَّط بـ GELU والآخر يعمل كبوابة مضاعفة، مما يمنح الشبكة تحكّماً أدقّ في تدفّق المعلومات مقارنة بـ ReLU.

A gated activation function that splits the feedforward hidden dimension into two halves — one activated by GELU, the other acting as a multiplicative gate — giving the network finer control over information flow compared to ReLU.