FP8

تنسيق أعداد بفاصلة عائمة يستخدم 8 بتات فقط لتمثيل كل عدد، مقابل 16 بت في BF16. يُقلّص الذاكرة والحوسبة إلى النصف تقريباً لكنه يتطلب تقنيات تكميم دقيقة للحفاظ على استقرار التدريب.

A floating-point number format using only 8 bits per number, compared to 16 bits in BF16. Roughly halves memory and compute but requires fine-grained quantization techniques to maintain training stability.