الترميز الموضعي الدوراني

أسلوب لترميز المواضع في المحوِّلات اقترحه سو وزملاؤه، يُطبِّق دوراناً في الفضاء المركّب على متّجهات الاستعلام والمفتاح بزاوية تتناسب مع الموضع، فيُدمج المعلومة الموضعية النسبية بطبيعتها في الانتباه ويعمّم جيداً على تسلسلات أطول من التدريب.

A positional encoding scheme for Transformers proposed by Su and colleagues that applies a complex-space rotation to query and key vectors with an angle proportional to position, natively injecting relative positional information into attention and generalizing well to sequences longer than those seen at training.