قانون التحجيم
Scaling Law
معادلة تجريبية تتنبأ بكيفية تغيُّر أداء النموذج كدالة لحجمه وبيانات التدريب والميزانية الحوسبية، وتُمكِّن من تحديد التوزيع الأمثل للموارد.
An empirical equation that predicts how model performance changes as a function of model size, training data, and compute budget, enabling optimal resource allocation.
تُرجم أيضاًقانون القياس، قانون التدريج
أول ظهور في هذه المجموعة: تحسين فهم اللغة عبر التدريب المسبق التوليدي (2018)
يظهر في هذه الأوراق
- تدريب النماذج اللغوية الكبيرة بالكفاءة الحوسبية المُثلى2022في السماء ✦
- تقييم النماذج اللغوية الكبيرة المُدرَّبة على الشيفرات البرمجية2021في السماء ✦
- EfficientNet: إعادة التفكير في توسيع نماذج الشبكات الالتفافية2019في السماء ✦
- هل القدرات الناشئة في النماذج اللغوية الكبيرة مجرد سراب؟2023في السماء ✦
- Gemini: عائلة نماذج فائقة القدرات تجمع بين وسائط متعددة2023في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- النماذج اللغوية قادرة على التعلّم بأمثلة قليلة2020في السماء ✦
- التقرير التقني لـ GPT-42023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- برامج المُوتِّرات V: ضبط الشبكات العصبية الكبيرة عبر النقل الفوري للمعاملات الفائقة2022في السماء ✦
- نواة المماس العصبية: التقارب والتعميم في الشبكات العصبية2018في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- RETRO: تحسين النماذج اللغوية بالاسترجاع من تريليونات الرموز2022في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- نماذج توليد الفيديو بوصفها محاكيات للعالم2024في السماء ✦
- شرارات الذكاء الاصطناعي العام: تجارب مبكرة مع GPT-42023في السماء ✦
- المحوِّلات التبديلية: التوسّع إلى تريليون معامل بتناثر بسيط وفعّال2022في السماء ✦
- استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ2019في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦
- صورة تساوي 16×16 كلمة: المحوِّلات للتعرف على الصور على نطاق واسع2020في السماء ✦
- التعرّف على الكلام بمتانة عالية من خلال إشراف ضعيف على نطاق واسع2022في السماء ✦