مُحسِّن LAMB

خوارزمية أمثَلة تجمع بين معدلات التعلم التكيُّفية لكل مُعامِل (كما في Adam) ونسب الثقة الطبقية (كما في LARS)، مما يُتيح التدريب بدفعات ضخمة لكل من الشبكات الالتفافية والمحوِّلات دون فقدان الدقة.

An optimization algorithm that combines per-parameter adaptive learning rates (from Adam) with layerwise trust ratios (from LARS), enabling large-batch training for both CNNs and Transformers without accuracy loss.