وحدة الخطأ الخطية الغاوسية (GELU)
GELU
دالة تفعيل سلسة تجمع بين خصائص ReLU والتوزيع الغاوسي، تُستخدم في المحوِّلات الحديثة بدلاً من ReLU.
A smooth activation function combining properties of ReLU and Gaussian distribution, used in modern Transformers instead of ReLU.
تُرجم أيضاًGELU، وحدة الخطأ الخطية الغاوسية، دالة تفعيل GELU
أول ظهور في هذه المجموعة: وحدات الخطأ الغاوسي الخطية (GELUs) (2016)
يظهر في هذه الأوراق
- BART: التدريب المسبق بإزالة التشويش لنماذج تسلسل إلى تسلسل في التوليد والترجمة والفهم اللغوي2019في السماء ✦
- BLOOM: نموذج لغوي متعدد اللغات مفتوح الوصول بـ 176 مليار معامل2022في السماء ✦
- شبكة التفافية لعصر العشرينيات2022في السماء ✦
- وحدات الخطأ الغاوسي الخطية (GELUs)2016في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج2019في السماء ✦
- SegFormer: تصميم بسيط وفعّال للتجزئة الدلالية باستخدام المحوِّلات2021في السماء ✦
- محوِّل Swin: محوِّل رؤية هرمي باستخدام النوافذ المُنزاحة2021في السماء ✦
- wav2vec 2.0: إطار عمل للتعلُّم الذاتي الإشراف لتمثيلات الكلام2020في السماء ✦