Curvature
انحناء
مقدار تغيُّر التدرُّج عند التحرك في فضاء المعاملات. الانحناء العالي يعني أن سطح الخسارة يتغير بسرعة، والانحناء المنخفض يعني سطحاً مسطحاً تقريباً. أساليب الرتبة الثانية تستخدم الانحناء لضبط حجم خطوات التحديث.
How much the gradient changes when moving in parameter space. High curvature means the loss surface changes rapidly; low curvature means it is nearly flat. Second-order methods use curvature to adjust update step sizes.
Also translated asالانحناء، التقعّر
First appears in this corpus in: Optimizing Neural Networks with Kronecker-Factored Approximate Curvature (2015)
Appears in these papers
- Optimizing Neural Networks with Kronecker-Factored Approximate Curvature2015in the sky ✦
- Optimizing Neural Networks with Kronecker-Factored Approximate Curvature2015in the sky ✦
- Shampoo: Preconditioned Stochastic Tensor Optimization2018in the sky ✦
- Sharpness-Aware Minimization for Efficiently Improving Generalization2021in the sky ✦