Linear Scaling Rule

مبدأ عملي ينصّ على أنه حين يُضاعَف حجم الدفعة الصغيرة بمعامل k، يُضرب معدّل التعلّم في المعامل ذاته k، وذلك للحفاظ على نفس الأثر التراكمي لتحديثات الأوزان عند الانتقال من دفعات صغيرة إلى كبيرة.

A practical rule stating that when the minibatch size is multiplied by k, the learning rate should be multiplied by k as well, to maintain the same cumulative weight update effect when transitioning from small to large batches.