Rotary Position Embedding (RoPE)
التضمين الموضعي الدوار
تضمين موضعي متطور يدمج معلومات المواقع عبر تدوير متجهات الاستعلام والمفاتيح بزوايا رياضية محددة في الفضاء.
Rotary Position Embedding (RoPE)
Also translated asالصياغة الدائرية للأبعاد المكانية، تشفير المواقع عبر التدوير المتجهي
First appears in this corpus in: RoFormer: Enhanced Transformer with Rotary Position Embedding (2021)
Appears in these papers
- DeepSeek-V3 Technical Report2024in the sky ✦
- Gemma: Open Models Based on Gemini Research and Technology2024in the sky ✦
- Llama 2: Open Foundation and Fine-Tuned Chat Models2023in the sky ✦
- The Llama 3 Herd of Models2024in the sky ✦
- LLaMA: Open and Efficient Foundation Language Models2023in the sky ✦
- Mistral 7B2023in the sky ✦
- Mistral 7B2023in the sky ✦
- Mixtral of Experts2024in the sky ✦
- PaLM: Scaling Language Modeling with Pathways2022in the sky ✦
- PaLM: Scaling Language Modeling with Pathways2022in the sky ✦
- RoFormer: Enhanced Transformer with Rotary Position Embedding2021in the sky ✦