تسوية الجذر التربيعي للمتوسط
RMSNorm
تبسيط لتسوية الطبقة يُعيد قياس المتجهات بجذرها التربيعي للمتوسط دون طرح المتوسط الحسابي. أسرع حوسبياً وفعّالة تجريبياً بالقدر ذاته لاستقرار التدريب. اعتمدها LLaMA بدلاً من LayerNorm.
A simplification of LayerNorm that rescales vectors by their root mean square without subtracting the mean. Faster and empirically as effective for training stability. Adopted by LLaMA instead of LayerNorm.
تُرجم أيضاًتسوية RMS، التسوية بالجذر التربيعي
أول ظهور في هذه المجموعة: تسوية الطبقة (2016)
يظهر في هذه الأوراق
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- تسوية الطبقة2016في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- Mistral 7B2023في السماء ✦