Preemption

الاستباق

آلية يُوقف فيها المُجدوِل طلبًا أقل أولوية مؤقتًا حين تشحّ ذاكرة وحدة معالجة الرسوميات، إما بنقل كتله إلى ذاكرة المعالج المركزي (التبديل) أو بتحريرها لإعادة حسابها لاحقًا.

A mechanism where the scheduler temporarily pauses a lower-priority request when GPU memory runs low, either by swapping its blocks to CPU memory or by freeing them for later recomputation.

Also translated asالإيقاف المؤقت، المقاطعة

First appears in this corpus in: Efficient Memory Management for Large Language Model Serving with PagedAttention (2023)

Appears in these papers

Efficient Memory Management for Large Language Model Serving with PagedAttention2023 in the sky ✦
Efficient Memory Management for Large Language Model Serving with PagedAttention2023 in the sky ✦