المعجم

الدُّفعات المستمرة

Continuous Batching

أسلوب جدولة يُعيد تقييم مجموعة الطلبات النشطة عند كل خطوة توليد رمز بدلًا من انتظار انتهاء دُفعة كاملة. الطلبات المنتهية تُحرّر مواردها فورًا والطلبات الجديدة تنضم في الخطوة ذاتها.

A scheduling approach that re-evaluates the active request set at every token generation step instead of waiting for an entire batch to complete. Finished requests release resources immediately and new requests join in the same step.

تُرجم أيضاًالجدولة على مستوى التكرار، التجميع المستمر

أول ظهور في هذه المجموعة: إدارة الذاكرة بكفاءة لخدمة النماذج اللغوية الكبيرة باستخدام PagedAttention (2023)

يظهر في هذه الأوراق