Inference Cost

تكلفة الاستدلال

التكلفة الحوسبية لتشغيل نموذج مُدرَّب لإنتاج تنبؤات عند النشر الفعلي. تختلف عن تكلفة التدريب. يُحسِّن LLaMA تكلفة الاستدلال بتدريب نماذج أصغر على بيانات أكثر بكثير.

The computational cost of running a trained model to produce predictions at deployment. Distinct from training cost. LLaMA optimizes for inference cost by training smaller models on far more data.

Also translated asتكلفة الاستنتاج، تكلفة التشغيل، كلفة الاستنتاج، كلفة التنبؤ

First appears in this corpus in: Training Compute-Optimal Large Language Models (2022)

Appears in these papers

Training Compute-Optimal Large Language Models2022 in the sky ✦
LLaMA: Open and Efficient Foundation Language Models2023 in the sky ✦
Mistral 7B2023 in the sky ✦
Mistral 7B2023 in the sky ✦