مُحسِّن LARS

مُحسِّن يطبّق معدلات تعلّم تكيّفية لكل طبقة على حدة بناءً على نسبة معيار الأوزان إلى معيار التدرّج. ضروري لاستقرار التدريب بأحجام دُفعات كبيرة جداً (آلاف العيّنات).

An optimizer that applies layer-wise adaptive learning rates based on the ratio of weight norm to gradient norm. Essential for stable training with very large batch sizes (thousands of samples).