الدقة العائمة بنظام برين 16 بت
BF16
نطاق رقمي عائم مبتكر (16 بت) يحافظ على نفس المدى الديناميكي لصيغة FP32 القياسية مما يحمي التدريب من الانهيار العددي.
BF16
تُرجم أيضاًالسعة العددية المرنة الحافظة للنطاق الديناميكي، نمط تمثيل الأرقام المحسن للتدريب
أول ظهور في هذه المجموعة: التدريب بالدقة المختلطة (2018)
يظهر في هذه الأوراق
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- سلسلة Falcon من النماذج اللغوية المفتوحة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLM.int8(): ضرب المصفوفات بدقة 8 بت للمحوِّلات على نطاق واسع2022في السماء ✦
- التدريب بالدقة المختلطة2018في السماء ✦
- QLoRA: الضبط الدقيق الكفوء للنماذج اللغوية الكبيرة المُكمَّمة2023في السماء ✦