التسوية الطبقية

تقنية تسوية اقترحها با وكيروس وهينتون، تُطبِّع الأنشطة داخل كل طبقة بحساب المتوسط والتباين عبر أبعاد السمات لكل عيّنة على حدة، فتعمل جيداً مع الشبكات العودية والدفعات الصغيرة، وأصبحت التسوية الافتراضية في المحوِّلات.

A normalization technique proposed by Ba, Kiros, and Hinton that normalizes activations within each layer by computing the mean and variance across feature dimensions for each sample independently, working well with recurrent networks and small batches, and now the default normalization in Transformers.