Optimizer States

حالات المُحسِّن

متغيرات مساعدة يحتفظ بها المُحسِّن لتوجيه عملية التحديث — في Adam مثلاً تشمل تقديرات الزخم (العزم الأول) وتقديرات التباين (العزم الثاني) لكل مُعامِل قابل للتدريب.

Auxiliary variables maintained by the optimizer to guide updates — in Adam, these include momentum estimates (first moment) and variance estimates (second moment) for each trainable parameter.

Also translated asحالات المُحسّن التكراري، ذاكرة المُحسِّن، متغيرات المُحسِّن، متغيرات المُحسِّن الداخلية

First appears in this corpus in: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (2019)

Appears in these papers

QLoRA: Efficient Finetuning of Quantized LLMs2023 in the sky ✦
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019 in the sky ✦
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019 in the sky ✦