التدريب المسبق التوليدي

تدريب نموذج لغوي على كميات هائلة من النصوص غير المُعنوَنة بهدف التنبؤ بالكلمة التالية، لاكتساب معرفة لغوية عامة قابلة للنقل إلى مهام محددة.

Training a language model on large amounts of unlabeled text via next-token prediction to acquire general linguistic knowledge transferable to specific tasks.