FP16
الدقة العائمة بنظام 16 بت
صيغة تمثيل رقمي عائمة تستخدم 16 بت لتخزين الأرقام، مما يقلص حجم المصفوفات ويسرع الحوسبة مقارنة بالصيغ القياسية.
FP16
Also translated asالسعة العددية نصف القياسية لمعلمات النموذج، نطاق الأرقام المخفض لتسريع الحوسبة
First appears in this corpus in: Deep Speech 2: End-to-End Speech Recognition in English and Mandarin (2015)
Appears in these papers
- Deep Speech 2: End-to-End Speech Recognition in English and Mandarin2015in the sky ✦
- LLM.int8(): 8-Bit Matrix Multiplication for Transformers at Scale2022in the sky ✦
- Mixed Precision Training2018in the sky ✦
- Robust Speech Recognition via Large-Scale Weak Supervision2022in the sky ✦
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019in the sky ✦