Glossary

NormalFloat

العدد العشري الطبيعي

نوع بيانات تكميم بـ 4-بت مُصمَّم لأوزان الشبكات العصبية ذات التوزيع الطبيعي، يضع مستويات إعادة البناء عند الشرائح المئوية للتوزيع الطبيعي المعياري بحيث تلتقط كل حاوية كتلة احتمالية متساوية — مثاليّ نظرياً من منظور نظرية المعلومات.

A 4-bit quantization data type designed for normally distributed neural network weights, placing reconstruction levels at the quantiles of the standard normal distribution so each bin captures equal probability mass — information-theoretically optimal.

Also translated asNF4، صيغة العوامة الطبيعية

First appears in this corpus in: QLoRA: Efficient Finetuning of Quantized LLMs (2023)

Appears in these papers