توازي البيانات

استراتيجية تدريب تُوزّع دُفعات البيانات على عدة وحدات معالجة رسومية، كل منها تحتفظ بنسخة من النموذج وتُجمع التدرجات بعد كل خطوة. تُستخدم مع توازي النموذج في تدريب LLaMA.

A training strategy that distributes data batches across multiple GPUs, each holding a copy of the model and aggregating gradients after each step. Used alongside model parallelism in LLaMA training.