وحدات الخطأ الغاوسي الخطية (GELUs)

بحلول عام 2016 كانت ReLU هي الحصان الذي يجرّ عربة التعلُّم العميق بأكمله. صيغتها بسيطة بقدر ما يمكن أن تكون: $\text{ReLU}(x) = \max(0, x)$. إن كان المدخل موجبًا مرَّ كما هو، وإن كان سالبًا صار صفرًا. هذه البساطة أعطتها سرعة وفعالية فاقت بمراحل دوال السينية التي سبقتها، والتي كانت تعاني من تلاشي التدرُّجات كلّما ازداد عمق الشبكة.

لكن في ReLU مشكلة واضحة: عند $x = 0$ تقفز المشتقة فجأة من 0 إلى 1. هذا الانكسار الحاد يعني أن الدالة غير سلسة — التدرُّج ينقلب في لحظة. قيمة تحت الصفر بشعرة تجعل العصبون ميّتًا تمامًا، وقيمة فوقه بشعرة تجعله حيًّا بالكامل. لا توجد منطقة رمادية قرب الحدّ الفاصل.

وعلى الجانب الآخر، كانت تقنيات التنظيم العشوائي مثل الإسقاط العشوائي تعمل في معزل تام. فكرة الإسقاط العشوائي هي إلغاء عصبونات عشوائيًّا أثناء التدريب لمنع فرط التخصيص — لكنه يفعل ذلك بشكل أعمى دون أن يسأل: هل هذا العصبون يحمل إشارة قوية أم ضعيفة؟ كأنّ قرار التنشيط وقرار التنظيم يعيشان في عالمين منفصلين لا يعرف أحدهما شيئًا عن الآخر.

الفكرة المحورية وراء GELU بسيطة وأنيقة: ادمج دالة التنشيط والمنظِّم في عملية واحدة.

لنبدأ بتجربة ذهنية. تخيّل أنك عند كل عصبون ترمي عملة معدنية منحازة لتقرّر: هل تحتفظ بالمدخل أم تُسقطه؟ الفارق أن انحياز العملة يتحدّد بالمدخل نفسه. مدخل موجب كبير؟ تبقيه شبه مؤكد. سالب كبير؟ تُسقطه شبه مؤكد. قريب من الصفر؟ فرصته قريبة من النصف.

رياضيًّا: نضرب المدخل $x$ في قناع $m \sim \text{Bernoulli}(\Phi(x))$، حيث $\Phi(x) = P(X \leq x)$ هي دالة التوزيع التراكمي للتوزيع الطبيعي المعياري. بعبارة أخرى: احتمال أن نحتفظ بالقيمة $x$ يساوي احتمال أن يكون متغير عشوائي طبيعي معياري أصغر من $x$ أو يساويها.

هذا في جوهره منظِّم عشوائي يشبه الإسقاط العشوائي، لكنه واعٍ بقيمة المدخل. الخطوة الأخيرة: نأخذ القيمة المتوقعة فنحصل على دالة حتمية:

$\mathbb{E}[x \cdot m] = x \cdot \Phi(x) + 0 \cdot (1 - \Phi(x)) = x \cdot \Phi(x)$

هذه هي GELU. لا عشوائية وقت الاستدلال — مجرد منحنى سلس حتمي يختزل الحدس الاحتمالي بداخله.

الآن وقد بنينا الحدس — العملة المنحازة التي تقرّر إبقاء كل مدخل أو إسقاطه بحسب قيمته — حان وقت الصيغة. القيمة المتوقعة لتلك العملية العشوائية تعطينا دالة تنشيط حتمية نظيفة.

حساب دالة الخطأ بدقة قد يكون مكلفًا حسابيًّا في بعض أُطُر العمل، لذا قدّمت الورقة تقريبين سريعين:

تقريب tanh (أدق): $\text{GELU}(x) \approx 0.5x\left(1 + \tanh\left[\sqrt{2/\pi}\left(x + 0.044715x^3\right)\right]\right)$

تقريب السينية (أسرع): $\text{GELU}(x) \approx x \cdot \sigma(1.702x)$

أغلب أُطُر العمل الحديثة تحسب الصيغة الدقيقة بكفاءة، لكن هذين التقريبين كانا أساسيَّين في مرحلة التبنّي المبكّر — وبخاصة صيغة tanh التي اعتمدها تنفيذ BERT الأصلي.

ثلاث خصائص تمنح GELU تفوّقها على ReLU وELU:

النعومة. GELU قابلة للاشتقاق لعدد لا نهائي من المرات في كل نقطة. لا انكسار ولا قفزة مفاجئة في التدرُّج. هذا يجعل سطح دالة الخسارة أملس، ما يساعد المحسِّنات على إيجاد مسارات أفضل. الزاوية الحادة في ReLU عند الصفر قد تسبب تذبذبات أثناء التدريب.

عدم الرتابة. عند $x \approx -0.17$ تنخفض GELU قليلاً تحت الصفر. هذا يعني أنها تستطيع إخراج قيم سالبة طفيفة — قد يبدو هذا غريبًا، لكنه يسمح للشبكة بترميز ما يشبه «مضادات السمات». في المقابل، ReLU وELU رتيبتان تمامًا: لا تنخفضان أبدًا مهما زاد المدخل.

الانحناء في كل مكان. ReLU خطية تمامًا في المنطقة الموجبة — لا انحناء على الإطلاق. أما GELU فتنحني بلطف حتى مع المدخلات الموجبة، ولا تقترب من خط الهوية $y = x$ إلا عندما $x \to \infty$. هذا الانحناء المستمر قد يمنح الشبكة مرونة أكبر في تقريب الدوال المعقّدة.

GELU لم تظهر من فراغ — هي حلقة في سلسلة تطوّر واضحة، وفهم ما سبقها يوضّح سرّ فعاليتها:

ReLU — $\max(0, x) = x \cdot \mathbf{1}_{x > 0}$ — تحجب بالإشارة فقط. دالة المؤشر $\mathbf{1}_{x > 0}$ إما 0 أو 1 بلا وسط. واللافت أن هذه ليست سوى GELU في حالتها الحدّية حين $\sigma \to 0$: دالة التوزيع التراكمي الغاوسية تتقلّص إلى دالة درجة، فتصبح $\Phi(x) \to \mathbf{1}_{x > 0}$، وتنطوي GELU على ReLU. بمعنى آخر: ReLU حالة خاصة من GELU.

ELU — تعالج الجانب السالب من ReLU بمنحنى أسّي: $\alpha(e^x - 1)$ حين $x < 0$، لكنها تظل خطية في المنطقة الموجبة. تحلّ مشكلة العصبون الميت لكن بلا أساس احتمالي.

SiLU (الوحدة الخطية السينية) — $x \cdot \sigma(x)$، حيث $\sigma$ هي السينية اللوجستية. قُدِّمت في الورقة نفسها، وتستخدم دالة التوزيع التراكمي اللوجستي بدل الغاوسي. أعاد فريق Google Brain اقتراحها لاحقًا تحت اسم «Swish». فكرتها قريبة من GELU لكنها أقل دقة لأن التوزيع اللوجستي تقريب أضعف للغاوسي.

اختبرت الورقة GELU في مواجهة ReLU وELU عبر خمسة مجالات مختلفة:

• تصنيف MNIST — شبكة أمامية من 8 طبقات: حققت GELU أدنى خسارة على بيانات التدريب والتحقق، سواء مع الإسقاط العشوائي أو بدونه، مع متانة أعلى تجاه المدخلات المشوّشة.
• المرمِّز التلقائي على MNIST — بنية عميقة (1000←500←250←30←250←500←1000): تفوّقت GELU بوضوح عند معدّلات تعلُّم متعددة.
• وسم أجزاء الكلام في تغريدات تويتر — شبكة من طبقتين مع تضمينات كلمات مُدرَّبة مسبقًا: حققت GELU خطأ 12.57% مقابل 12.67% لـ ReLU و12.91% لـ ELU.
• التعرّف على الكلام (TIMIT) — مصنّف من 5 طبقات بعرض 2048 عصبونًا: GELU عند 29.3% مقابل 29.5% لـ ReLU و29.6% لـ ELU.
• CIFAR-10/100 — شبكات التفافية: GELU عند 7.89% على CIFAR-10 مقابل 8.16% لـ ReLU، وعلى CIFAR-100 مع الشبكات المتبقية الواسعة 20.74% مقابل 21.77%.

النمط واضح: GELU تساوت مع المنافسين أو تفوّقت عليهم في كل معيار بلا استثناء.

أين استقرّت GELU في نهاية المطاف؟ في قلب المحوِّل.

المحوِّل الأصلي استخدم ReLU في شبكة التغذية الأمامية. لكن حين ظهر BERT عام 2018، استبدلها بـ GELU — وحقق أفضل النتائج على 11 معيارًا في معالجة اللغة الطبيعية. GPT-2 سار على المنوال نفسه، وبحلول GPT-3 لم يعد هناك نقاش: GELU هي الخيار الافتراضي.

لماذا تناسب GELU المحوِّلات إلى هذا الحد؟ شبكة التغذية الأمامية في كل كتلة محوِّل هي المكان الذي يخزّن فيه النموذج المعرفة الواقعية ويسترجعها. بوابة GELU السلسة المُرجَّحة بالقيمة تعطي هذه الشبكة قدرة تعبيرية أعلى من بوابة ReLU الحادة. والنعومة تساعد أيضًا في البنى العميقة جدًّا (12 إلى 96 طبقة) التي تستخدمها المحوِّلات، لأن التدرُّجات السلسة تتدفق بموثوقية أكبر عبر طبقات كثيرة من الاتصالات التخطّية.

اليوم، GELU بالنسبة لـالمحوِّلات هي ما كانت عليه ReLU بالنسبة لـالشبكات الالتفافية: دالة التنشيط التي تستخدمها ما لم يكن لديك سبب محدد لاختيار غيرها.