التنبؤ بعدة رموز

هدف تدريبي يتنبّأ فيه النموذج بعدة رموز مستقبلية في وقت واحد من كل موضع، ما يُجبره على بناء تمثيلات أغنى للسياق. يمكن أيضاً استخدامه أثناء الاستدلال لفك الترميز التخمينيّ.

A training objective where the model predicts multiple future tokens simultaneously from each position, forcing richer context representations. Can also be used during inference for speculative decoding.