Permutation Language Modeling

هدف تدريب مسبق يُعظِّم الاحتمالية المتوقعة للتسلسل على جميع ترتيبات التحليل الممكنة، بحيث يتعلّم النموذج التنبؤ بكل رمز من سياق ثنائي الاتجاه دون الحاجة لتقنيع المدخلات.

A pretraining objective that maximizes the expected likelihood of a sequence across all possible factorization orders, enabling the model to learn bidirectional context prediction without masking any input tokens.