الجمل الكاملة

صيغة مدخلات في RoBERTa تُحشد فيها جمل متتالية من وثيقة واحدة أو أكثر حتى بلوغ الحد الأقصى لطول التسلسل (512 رمزاً)، بدون استخدام مهمة التنبؤ بالجملة التالية. حقّقت أفضل أداء بين صيغ المدخلات الأربع المُختبرة.

An input format in RoBERTa where consecutive sentences from one or more documents are packed until reaching the maximum sequence length (512 tokens), without using the next sentence prediction task. Achieved the best performance among the four tested input formats.