المعاملَة abc
abc-Parameterization
إطار عام يصف تدريج طبقات الشبكة العصبية عبر ثلاثة أُسُس: مُضاعِف المخرج (a)، وتباين التهيئة (b)، وتدريج معدّل التعلّم (c). اختيارات مختلفة تُعطي معاملَات مختلفة (SP، NTK، μP).
A general framework describing neural network layer scaling via three exponents: output multiplier (a), initialization variance (b), and learning rate scaling (c). Different choices yield different parameterizations (SP, NTK, μP).
تُرجم أيضاًمعاملَة أ ب ج
أول ظهور في هذه المجموعة: برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة (2022)
يظهر في هذه الأوراق