Adaptive Learning Rate
معدل التعلم التكيُّفي
معدل تعلم يتغير تلقائياً لكل معلمة بنيوية بناءً على تاريخ تدرجاتها، فيخطو خطوات كبيرة حيث التدرج صغير وخطوات صغيرة حيث التدرج كبير.
A learning rate that automatically adjusts per parameter based on its gradient history, taking larger steps where gradients are small and smaller steps where they are large.
Also translated asمعدل التعلم المتغير ذاتياً، الخطوة الحسابية المتأقلمة، معدل تعلم تكيُّفي
First appears in this corpus in: RMSProp: Divide the Gradient by a Running Average of Its Recent Magnitude (2012)
Appears in these papers
- Adam: A Method for Stochastic Optimization2014in the sky ✦
- Adam: A Method for Stochastic Optimization2014in the sky ✦
- Decoupled Weight Decay Regularization2019in the sky ✦
- Layer Normalization2016in the sky ✦
- RMSProp: Divide the Gradient by a Running Average of Its Recent Magnitude2012in the sky ✦
- A Simple Framework for Contrastive Learning of Visual Representations2020in the sky ✦