Decoupled Weight Decay

تقنية تطبّق اضمحلال الأوزان كخطوة مستقلة عن تحديث التدرج التكيُّفي، فتُقلّص جميع المعاملات بمعدل منتظم بصرف النظر عن حجم تدرجاتها التاريخية — على عكس الضبط الهيكلي L2 الذي يتشوّه بفعل التقييس التكيُّفي.

A technique that applies weight decay as a step independent of the adaptive gradient update, shrinking all parameters at a uniform rate regardless of their historical gradient magnitudes — unlike L2 regularization which gets distorted by adaptive scaling.