Rotary Position Embeddings

طريقة ترميز موضعي تُدير متجهات الاستعلام والمفتاح بزوايا تتناسب مع موضعها في التسلسل. الضرب النقطي بين المتجهات المُدارة يُرمِّز المسافة النسبية تلقائياً، مما يُمكِّن تعميماً أفضل على أطوال تسلسلات غير مرئية أثناء التدريب.

A position encoding method that rotates query and key vectors by angles proportional to their sequence position. The dot product between rotated vectors naturally encodes relative distance, enabling better generalization to unseen sequence lengths.