Trust Ratio

نسبة الثقة

نسبة مقياس أوزان الطبقة إلى مقياس التحديث المقترح. تُستخدم في LARS وLAMB لضبط حجم خطوة كل طبقة بحيث تتناسب مع مقدار أوزانها، فتمنع أي طبقة من اتخاذ خطوة كبيرة أو صغيرة بشكل غير متناسب.

The ratio of a layer's weight norm to its proposed update norm. Used in LARS and LAMB to scale each layer's step size proportionally to its weight magnitude, preventing any single layer from taking a disproportionately large or small step.

Also translated asمعامل الثقة الطبقي

First appears in this corpus in: Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes (2019)

Appears in these papers

Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes2019 in the sky ✦
Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes2019 in the sky ✦