تهيئة الأوزان
Weight initialization
إعطاء قيم أولية عشوائية وصغيرة لروابط الشبكة العصبية قبل بدء التدريب. تضمن هذه التقنية بدء التعلم بشكل مستقر وتجنب مشاكل تلاشي أو انفجار التدرج التي تعيق تقدم الخوارزميات.
تُرجم أيضاًتهيئة القيمة الأولية، تهيئة أوزان
أول ظهور في هذه المجموعة: أُسُس نظرية الاحتمالات (1933)
يظهر في هذه الأوراق
- الغوص في عالم المُقوِّمات: كيف تجاوزت الشبكات أداء البشر في تصنيف ImageNet2015في السماء ✦
- أُسُس نظرية الاحتمالات1933في السماء ✦
- تصوير سطح الخسارة في الشبكات العصبية2018في السماء ✦
- فرضية تذكرة اليانصيب: إيجاد شبكات عصبية مُبعثرة قابلة للتدريب2019في السماء ✦
- برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة2022في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- النمو التدريجي لشبكات GAN لتحسين الجودة والاستقرار والتنوع2018في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- الشبكات الالتفافية العميقة جداً للتعرُّف على الصور واسع النطاق2014في السماء ✦