Smart Batching

تقنية لتسريع الاستدلال تجمع الجمل ذات الأطوال المتقاربة في دُفعة واحدة لتقليل كمية الحشو المطلوبة، مما يقلل الحسابات الضائعة على رموز الحشو.

An inference speedup technique that groups sentences of similar lengths into the same batch to minimize required padding, reducing wasted computation on padding tokens.