العدد العشري الطبيعي
NormalFloat
نوع بيانات تكميم بـ 4-بت مُصمَّم لأوزان الشبكات العصبية ذات التوزيع الطبيعي، يضع مستويات إعادة البناء عند الشرائح المئوية للتوزيع الطبيعي المعياري بحيث تلتقط كل حاوية كتلة احتمالية متساوية — مثاليّ نظرياً من منظور نظرية المعلومات.
A 4-bit quantization data type designed for normally distributed neural network weights, placing reconstruction levels at the quantiles of the standard normal distribution so each bin captures equal probability mass — information-theoretically optimal.
تُرجم أيضاًNF4، صيغة العوامة الطبيعية
أول ظهور في هذه المجموعة: QLoRA: الضبط الدقيق الكفوء للنماذج اللغوية الكبيرة المُكمَّمة (2023)
يظهر في هذه الأوراق