زخم نيستيروف

تعديل على الانحدار العشوائي بالزخم اقترحه يوري نيستيروف، يُحسب فيه التدرّج عند الموقع المتوقّع بعد خطوة الزخم بدل الموقع الحالي، فيحقّق معدل تقارب أسرع نظرياً وأداءً أفضل عملياً في تدريب الشبكات العصبية.

A modification of momentum-based stochastic gradient descent proposed by Yurii Nesterov in which the gradient is evaluated at the look-ahead position after the momentum step rather than at the current parameters, achieving a provably faster convergence rate and better practical performance in neural network training.