مُهيِّئ التقارب
Preconditioner
مصفوفة تُقيّس التدرجات قبل تحديث المعاملات لتحسين سرعة التقارب. في آدام يُعدّ $\text{diag}(1/\sqrt{\hat{v}_t})$ مُهيِّئاً تكيُّفياً قطرياً.
A matrix that scales gradients before parameter updates to improve convergence speed. In Adam, diag(1/√v̂ₜ) acts as an adaptive diagonal preconditioner.
تُرجم أيضاًالمصفوفة المُسبقة، مصفوفة التهيئة المسبقة
أول ظهور في هذه المجموعة: كفاءة التدرّج الطبيعي في التعلّم (1998)
يظهر في هذه الأوراق
- أساليب التدرّج الفرعي التكيُّفية للتعلّم عبر الإنترنت والأمثَلة العشوائية2011في السماء ✦
- أمثَلة الشبكات العصبية بتقريب الانحناء عبر تحليل كرونيكر2015في السماء ✦
- كفاءة التدرّج الطبيعي في التعلّم1998في السماء ✦
- Shampoo: أمثَلة المُوتِّرات العشوائية بالتكييف المُسبَق2018في السماء ✦
- Shampoo: أمثَلة المُوتِّرات العشوائية بالتكييف المُسبَق2018في السماء ✦