تكلفة الاستدلال

التكلفة الحوسبية لتشغيل نموذج مُدرَّب لإنتاج تنبؤات عند النشر الفعلي. تختلف عن تكلفة التدريب. يُحسِّن LLaMA تكلفة الاستدلال بتدريب نماذج أصغر على بيانات أكثر بكثير.

The computational cost of running a trained model to produce predictions at deployment. Distinct from training cost. LLaMA optimizes for inference cost by training smaller models on far more data.