NormalFloat
العدد العشري الطبيعي
نوع بيانات تكميم بـ 4-بت مُصمَّم لأوزان الشبكات العصبية ذات التوزيع الطبيعي، يضع مستويات إعادة البناء عند الشرائح المئوية للتوزيع الطبيعي المعياري بحيث تلتقط كل حاوية كتلة احتمالية متساوية — مثاليّ نظرياً من منظور نظرية المعلومات.
A 4-bit quantization data type designed for normally distributed neural network weights, placing reconstruction levels at the quantiles of the standard normal distribution so each bin captures equal probability mass — information-theoretically optimal.
Also translated asNF4، صيغة العوامة الطبيعية
First appears in this corpus in: QLoRA: Efficient Finetuning of Quantized LLMs (2023)
Appears in these papers