abc-Parameterization

المعاملَة abc

إطار عام يصف تدريج طبقات الشبكة العصبية عبر ثلاثة أُسُس: مُضاعِف المخرج (a)، وتباين التهيئة (b)، وتدريج معدّل التعلّم (c). اختيارات مختلفة تُعطي معاملَات مختلفة (SP، NTK، μP).

A general framework describing neural network layer scaling via three exponents: output multiplier (a), initialization variance (b), and learning rate scaling (c). Different choices yield different parameterizations (SP, NTK, μP).

Also translated asمعاملَة أ ب ج

First appears in this corpus in: Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer (2022)

Appears in these papers

Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer2022 in the sky ✦