الدقة العائمة بنظام 16 بت
FP16
صيغة تمثيل رقمي عائمة تستخدم 16 بت لتخزين الأرقام، مما يقلص حجم المصفوفات ويسرع الحوسبة مقارنة بالصيغ القياسية.
FP16
تُرجم أيضاًالسعة العددية نصف القياسية لمعلمات النموذج، نطاق الأرقام المخفض لتسريع الحوسبة
أول ظهور في هذه المجموعة: Deep Speech 2: التعرّف الشامل على الكلام في الإنجليزية والصينية (2015)
يظهر في هذه الأوراق
- Deep Speech 2: التعرّف الشامل على الكلام في الإنجليزية والصينية2015في السماء ✦
- LLM.int8(): ضرب المصفوفات بدقة 8 بت للمحوِّلات على نطاق واسع2022في السماء ✦
- التدريب بالدقة المختلطة2018في السماء ✦
- التعرّف على الكلام بمتانة عالية من خلال إشراف ضعيف على نطاق واسع2022في السماء ✦
- ZeRO: تحسينات الذاكرة نحو تدريب نماذج بتريليون معامل2019في السماء ✦