Continuous Batching

الدُّفعات المستمرة

أسلوب جدولة يُعيد تقييم مجموعة الطلبات النشطة عند كل خطوة توليد رمز بدلًا من انتظار انتهاء دُفعة كاملة. الطلبات المنتهية تُحرّر مواردها فورًا والطلبات الجديدة تنضم في الخطوة ذاتها.

A scheduling approach that re-evaluates the active request set at every token generation step instead of waiting for an entire batch to complete. Finished requests release resources immediately and new requests join in the same step.

Also translated asالجدولة على مستوى التكرار، التجميع المستمر

First appears in this corpus in: Efficient Memory Management for Large Language Model Serving with PagedAttention (2023)

Appears in these papers

Efficient Memory Management for Large Language Model Serving with PagedAttention2023 in the sky ✦
Efficient Memory Management for Large Language Model Serving with PagedAttention2023 in the sky ✦