آدَم مع اضمحلال أوزان مفصول

متغيِّرة من آدَم تفصل اضمحلال الأوزان عن التدرج التفاضلي وتطبقه مباشرة على المعاملات، مما يحسِّن التعميم في تدريب المحوِّلات.

A variant of Adam that decouples weight decay from the gradient and applies it directly to parameters, improving generalization in Transformer training.