BF16
الدقة العائمة بنظام برين 16 بت
نطاق رقمي عائم مبتكر (16 بت) يحافظ على نفس المدى الديناميكي لصيغة FP32 القياسية مما يحمي التدريب من الانهيار العددي.
BF16
Also translated asالسعة العددية المرنة الحافظة للنطاق الديناميكي، نمط تمثيل الأرقام المحسن للتدريب
First appears in this corpus in: Mixed Precision Training (2018)
Appears in these papers
- DeepSeek-V3 Technical Report2024in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- LLM.int8(): 8-Bit Matrix Multiplication for Transformers at Scale2022in the sky ✦
- Mixed Precision Training2018in the sky ✦
- QLoRA: Efficient Finetuning of Quantized LLMs2023in the sky ✦