ما بعد التسوية

الترتيب الأصلي في المحوِّل حيث تُطبَّق تسوية الطبقة بعد الاتصال المتبقي، مما قد يؤدي إلى نمو أحجام التنشيطات مع العمق وعدم استقرار التدريب في النماذج الكبيرة.

The original Transformer arrangement where layer normalization is applied after the residual connection, which can cause activation magnitudes to grow with depth and training instability in large models.