Preconditioner
مُهيِّئ التقارب
مصفوفة تُقيّس التدرجات قبل تحديث المعاملات لتحسين سرعة التقارب. في آدام يُعدّ $\text{diag}(1/\sqrt{\hat{v}_t})$ مُهيِّئاً تكيُّفياً قطرياً.
A matrix that scales gradients before parameter updates to improve convergence speed. In Adam, diag(1/√v̂ₜ) acts as an adaptive diagonal preconditioner.
Also translated asالمصفوفة المُسبقة، مصفوفة التهيئة المسبقة
First appears in this corpus in: Natural Gradient Works Efficiently in Learning (1998)
Appears in these papers
- Adaptive Subgradient Methods for Online Learning and Stochastic Optimization2011in the sky ✦
- Optimizing Neural Networks with Kronecker-Factored Approximate Curvature2015in the sky ✦
- Natural Gradient Works Efficiently in Learning1998in the sky ✦
- Shampoo: Preconditioned Stochastic Tensor Optimization2018in the sky ✦
- Shampoo: Preconditioned Stochastic Tensor Optimization2018in the sky ✦