Paged Optimizers

المُحسِّنات المُصفَّحة

آلية تنقل حالات المُحسِّن (مثل تقديرات الزخم والتباين في Adam) من ذاكرة وحدة المعالجة الرسومية إلى ذاكرة المعالج المركزي عند ذروات الاستهلاك، مستخدمةً الذاكرة الموحَّدة من NVIDIA.

A mechanism that offloads optimizer states (such as Adam's momentum and variance estimates) from GPU memory to CPU RAM during consumption spikes, using NVIDIA unified memory.

Also translated asالمحسنات المُبادَلة، المحسنات ذات التصفيح الذاكري

First appears in this corpus in: QLoRA: Efficient Finetuning of Quantized LLMs (2023)

Appears in these papers

QLoRA: Efficient Finetuning of Quantized LLMs2023 in the sky ✦
QLoRA: Efficient Finetuning of Quantized LLMs2023 in the sky ✦