شبكة التغذية الأمامية
Feed Forward Network (FFN)
شبكة عصبية خطية متتالية تطبق تحولات مستقلة على كل وحدة لغوية بعد حساب الانتباه.
Feed Forward Network (FFN)
تُرجم أيضاًشبكة التمرير الأمامي، الشبكة الخطية المتتالية
أول ظهور في هذه المجموعة: الترجمة الآلية العصبية عبر التعلم المشترك للمحاذاة والترجمة (2014)
يظهر في هذه الأوراق
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- الترجمة الآلية العصبية عبر التعلم المشترك للمحاذاة والترجمة2014في السماء ✦
- Autoformer: بنية تفكيك تقدّمية مع ارتباط ذاتي للتنبؤ بعيد المدى بالسلاسل الزمنية2021في السماء ✦
- BERT4Rec: التوصية التسلسلية بتمثيلات المرمِّز ثنائي الاتجاه من المحوِّل2019في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- كشف الكائنات من البداية إلى النهاية باستخدام المحوِّلات2020في السماء ✦
- شبكة الاهتمام العميق للتنبؤ بمعدّل النقر2018في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- هل المحوِّلات فعّالة في التنبؤ بالسلاسل الزمنية؟2023في السماء ✦
- شبكات الانتباه البيانية2018في السماء ✦
- وحدات الخطأ الغاوسي الخطية (GELUs)2016في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- شبكات الطريق السريع2015في السماء ✦
- Informer: ما وراء المحوِّل الفعّال للتنبؤ بالسلاسل الزمنية الطويلة2021في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- LoRA: التكيّف مُنخَفِض الرُّتبة للنماذج اللغوية الكبيرة2021في السماء ✦
- Mistral 7B2023في السماء ✦
- Mixtral: مزيج الخبراء2024في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- سلسلة زمنية تساوي 64 كلمة: التنبؤ طويل المدى باستخدام المحوِّلات2023في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- تجزئة أي شيء2023في السماء ✦
- محوِّل Swin: محوِّل رؤية هرمي باستخدام النوافذ المُنزاحة2021في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ2019في السماء ✦
- توليد الكلام الطبيعي بتهيئة WaveNet على تنبؤات طيف ميل2018في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦
- الانتباه هو كل ما تحتاجه2017في السماء ✦