LAMB Optimizer

مُحسِّن LAMB

خوارزمية أمثَلة تجمع بين معدلات التعلم التكيُّفية لكل مُعامِل (كما في Adam) ونسب الثقة الطبقية (كما في LARS)، مما يُتيح التدريب بدفعات ضخمة لكل من الشبكات الالتفافية والمحوِّلات دون فقدان الدقة.

An optimization algorithm that combines per-parameter adaptive learning rates (from Adam) with layerwise trust ratios (from LARS), enabling large-batch training for both CNNs and Transformers without accuracy loss.

Also translated asمُحسِّن العزوم التكيُّفية الطبقية للدُّفعات الكبيرة

First appears in this corpus in: Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes (2019)

Appears in these papers

Large Batch Optimization for Deep Learning: Training BERT in 76 Minutes2019 in the sky ✦