الميزانية الحوسبية
Compute Budget
إجمالي كمية الحوسبة المخصصة لتدريب النموذج، تُقاس بعمليات الفاصلة العائمة (FLOPs)، وتُقدَّر بنحو C ≈ 6ND للمحوِّلات.
The total amount of computation allocated for training a model, measured in FLOPs. Approximately C ≈ 6ND for Transformers.
تُرجم أيضاًالحد الأقصى لطاقة المعالجة المسموحة، السقف المالي والزمني للتشغيل الرقمي، الموازنة الحاسوبية، ميزانية الحوسبة
أول ظهور في هذه المجموعة: Hyperband: نهج مبتكر لضبط المعاملات الفائقة مستوحى من مسائل قطّاع الطريق (2018)
يظهر في هذه الأوراق
- تدريب النماذج اللغوية الكبيرة بالكفاءة الحوسبية المُثلى2022في السماء ✦
- تدريب النماذج اللغوية الكبيرة بالكفاءة الحوسبية المُثلى2022في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- Hyperband: نهج مبتكر لضبط المعاملات الفائقة مستوحى من مسائل قطّاع الطريق2018في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦