اضمحلال الأوزان
Weight Decay
تقنية تمنع الإفراط عبر فرض غرامة عددية تقلص الأوزان الضخمة وتجعلها قريبة من الصفر.
Weight Decay
تُرجم أيضاًكبح الأوزان الزائدة، تقليص القيم البنيوية، اضمحلال أوزان
أول ظهور في هذه المجموعة: انحدار الحَرْف: التقدير المنحاز للمسائل غير المتعامدة (1970)
يظهر في هذه الأوراق
- أساليب التدرّج الفرعي التكيُّفية للتعلّم عبر الإنترنت والأمثَلة العشوائية2011في السماء ✦
- فصل اضمحلال الأوزان عن التحديث التكيُّفي2019في السماء ✦
- تصنيف صور ImageNet بالشبكات العصبية الالتفافية العميقة2012في السماء ✦
- ALIGN: توسيع نطاق تعلّم التمثيلات البصرية والبصرية-اللغوية بإشراف نصّي مُشوَّش2021في السماء ✦
- ألباكا: نموذج قوي وقابل للتكرار يتّبع التعليمات2023في السماء ✦
- الشبكات العصبية ومعضلة الانحياز والتباين1992في السماء ✦
- تدريب محوِّلات الصور الكفوءة بيانياً والتقطير عبر الانتباه2021في السماء ✦
- استخلاص سمات متينة وتركيبها عبر المرمّزات التلقائية المُزيلة للضجيج2008في السماء ✦
- الإسقاط العشوائي: طريقة بسيطة لمنع الشبكات العصبية من فرط التخصيص2014في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- فهم الأمثلة الخصومية واستثمارها2015في السماء ✦
- صعوبة تدريب الشبكات العصبية التكرارية2013في السماء ✦
- الاستيعاب المتأخّر: تعميم يتجاوز فرط التخصيص في مجموعات بيانات خوارزمية صغيرة2022في السماء ✦
- أمثَلة الدُّفعات الكبيرة للتعلُّم العميق: تدريب BERT في 76 دقيقة2019في السماء ✦
- النزول التدريجي العشوائي بدفعات كبيرة ودقيقة: تدريب ImageNet في ساعة واحدة2017في السماء ✦
- تقليص المعاملات وانتقاء المتغيرات بأسلوب Lasso1996في السماء ✦
- LIMA: القليل يكفي للمواءمة2023في السماء ✦
- الاكتشاف الرمزي لخوارزميات الأمثَلة2023في السماء ✦
- تصوير سطح الخسارة في الشبكات العصبية2018في السماء ✦
- mixup: ما وراء تدنية المخاطر التجريبية2018في السماء ✦
- MobileNets: شبكات التفاف عصبية كفوءة لتطبيقات الرؤية على الأجهزة المحمولة2017في السماء ✦
- برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة2022في السماء ✦
- نموذج لغوي عصبي احتمالي2003في السماء ✦
- نواة المماس العصبية: التقارب والتعميم في الشبكات العصبية2018في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- الضرر الدماغي الأمثل1989في السماء ✦
- انحدار الحَرْف: التقدير المنحاز للمسائل غير المتعامدة1970في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- SGDR: النزول الاشتقاقي العشوائي مع إعادة التشغيل الدافئة2017في السماء ✦
- تصغير مُدرك للحِدّة لتحسين التعميم بكفاءة2021في السماء ✦