Scaling Laws
قوانين التوسعة
علاقات رياضية تصف كيف يتغير أداء النموذج مع توسيع حجمه وحجم البيانات وميزانية الحوسبة. قوانين توسعة Chinchilla تُحسِّن لتكلفة التدريب، بينما وسّعها LLaMA لتحسين تكلفة الاستدلال.
Mathematical relationships describing how model performance changes as model size, dataset size, and compute budget scale up. Chinchilla scaling laws optimize for training cost; LLaMA extended them to optimize for inference cost.
Also translated asالقواعد الحسابية المنظمة لنمو النماذج، قوانين التحجيم، قوانين القياس، قوانين المقياس الحاسوبي، معايير الأداء التنبؤية للحجم والبيانات
First appears in this corpus in: Evaluating Large Language Models Trained on Code (2021)
Appears in these papers
- Evaluating Large Language Models Trained on Code2021in the sky ✦
- Emergent Abilities of Large Language Models2022in the sky ✦
- Emergent Abilities of Large Language Models2022in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- The Falcon Series of Open Language Models2023in the sky ✦
- A Generalist Agent2022in the sky ✦
- Scaling Language Models: Methods, Analysis & Insights from Training Gopher2022in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- Mistral 7B2023in the sky ✦
- Textbooks Are All You Need2023in the sky ✦