Normalized Weight Decay

إعادة قياس مُعامِل اضمحلال الأوزان بدلالة حجم الدفعة ومجموعة البيانات وعدد الدورات التدريبية ليظل الإعداد الأمثل ثابتاً تقريباً عبر ميزانيات تدريب ومجموعات بيانات مختلفة.

Rescaling the weight decay factor by batch size, dataset size, and number of epochs so the optimal setting remains roughly constant across different training budgets and datasets.