التدريب الأمثل حوسبياً
Compute-Efficient Training
استراتيجية تدريب تُعظِّم الأداء ضمن ميزانية حوسبية ثابتة. وفقاً لقوانين التوسعة، يعني هذا تدريب نماذج كبيرة جداً لوقت قصير مع الإيقاف قبل التقارب.
A training strategy that maximizes performance within a fixed compute budget. According to scaling laws, this means training very large models for a short time, stopping before convergence.
تُرجم أيضاًالتدريب الكفوء حوسبياً، التدريب المُثلى حوسبياً
أول ظهور في هذه المجموعة: ELECTRA: تدريب مُرمِّزات النصوص مسبقاً بالتمييز بدلاً من التوليد (2020)
يظهر في هذه الأوراق