التضمين الموضعي الدوار
Rotary Position Embedding (RoPE)
تضمين موضعي متطور يدمج معلومات المواقع عبر تدوير متجهات الاستعلام والمفاتيح بزوايا رياضية محددة في الفضاء.
Rotary Position Embedding (RoPE)
تُرجم أيضاًالصياغة الدائرية للأبعاد المكانية، تشفير المواقع عبر التدوير المتجهي
أول ظهور في هذه المجموعة: RoFormer: محوِّل مُحسَّن بالتضمين الموضعي الدوراني (2021)
يظهر في هذه الأوراق
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- Mistral 7B2023في السماء ✦
- Mixtral: مزيج الخبراء2024في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- RoFormer: محوِّل مُحسَّن بالتضمين الموضعي الدوراني2021في السماء ✦