المعجم

حالات المُحسِّن

Optimizer States

متغيرات مساعدة يحتفظ بها المُحسِّن لتوجيه عملية التحديث — في Adam مثلاً تشمل تقديرات الزخم (العزم الأول) وتقديرات التباين (العزم الثاني) لكل مُعامِل قابل للتدريب.

Auxiliary variables maintained by the optimizer to guide updates — in Adam, these include momentum estimates (first moment) and variance estimates (second moment) for each trainable parameter.

تُرجم أيضاًحالات المُحسّن التكراري، ذاكرة المُحسِّن، متغيرات المُحسِّن، متغيرات المُحسِّن الداخلية

أول ظهور في هذه المجموعة: ZeRO: تحسينات الذاكرة نحو تدريب نماذج بتريليون معامل (2019)

يظهر في هذه الأوراق