Rotary Position Embedding

أسلوب لترميز مواضع الرموز في المحوِّل عبر تدوير متجهات الاستعلام والمفتاح بزوايا تعتمد على الموضع. يُمكّن النموذج من التعميم على أطوال تسلسل لم يرها أثناء التدريب.

A method for encoding token positions in a Transformer by rotating query and key vectors by position-dependent angles. Enables the model to generalize to sequence lengths not seen during training.