Stochastic Regularization

أسلوب لمنع فرط التخصيص عبر إدخال عشوائية أثناء التدريب — مثل الإسقاط العشوائي الذي يُلغي عصبونات عشوائيًّا. GELU تُعدّ القيمة المتوقعة لمنظِّم عشوائي يعتمد على المدخل.

A technique for preventing overfitting by injecting randomness during training — such as dropout, which randomly zeroes neurons. GELU is the expected value of an input-dependent stochastic regularizer.