Critical Batch Size

حجم الدفعة الذي يحقق المفاضلة المثلى بين الوقت والحوسبة أثناء التدريب. التدريب دونه يهدر الوقت (خطوات كثيرة)، وفوقه يهدر الحوسبة (عائد متناقص).

The batch size that achieves the optimal tradeoff between time and compute during training. Training below it wastes time (too many steps), above it wastes compute (diminishing returns).