Lazy Regularization

حيلة تدريبية تحسب حدود التسوية (مثل تسوية طول المسار وعقوبة التدرّج R1) كل k دفعة صغيرة بدلاً من كل خطوة، مع تكبير الوزن بمقدار k للتعويض. تُخفّض التكلفة الحسابية دون التأثير على جودة التدريب.

A training trick that computes regularization terms (path length regularizer, R1 gradient penalty) only every k mini-batches instead of every step, scaling the weight by k to compensate. Reduces computational cost with no impact on training quality.