تسوية الطبقة

تسوية الدفعة كانت إنجازاً حقيقياً: الفكرة أنّك تأخذ مدخلات كل خلية عصبية، تطرح المتوسط وتقسم على الانحراف المعياري، لكن محسوبَين عبر أمثلة الدفعة المصغّرة. النتيجة كانت مذهلة: سطح دالة الخسارة أصبح أكثر نعومة، وأمكن استخدام معدّلات تعلّم أعلى، وانخفض وقت التدريب بشكل ملحوظ.

لكنّ تسوية الدفعة تحمل مشكلة بنيوية: هي بطبيعتها تحتاج عدة أمثلة لتحسب إحصاءات موثوقة. وهذا يولّد ثلاث مشكلات عملية:

• الدفعات الصغيرة تُفسد التقديرات. حين تكون ذاكرة GPU محدودة وينخفض حجم الدفعة إلى 2 أو 4، يصبح المتوسط والتباين مشوّشين ويفقد التدريب استقراره.

• الشبكات التكرارية لا تتوافق معها. في الشبكة التكرارية، كل خطوة زمنية تُنتج تنشيطات من توزيعات مختلفة. تسوية الدفعة ستحتاج إلى حساب وتخزين إحصاءات منفصلة لكل خطوة زمنية، والتسلسلات تختلف في أطوالها — فأيّ إحصاءات تستخدم عند الخطوة 100 إذا انتهت معظم التسلسلات عند الخطوة 50؟

• التدريب ≠ الاستدلال. أثناء التدريب تستخدم تسوية الدفعة إحصاءات الدفعة الحالية، وأثناء الاستدلال تستخدم متوسطات تراكمية مُخزّنة. هذا الفرق يمكن أن يُضعف الأداء، خاصةً مع مجموعات البيانات الصغيرة.

الفكرة في جوهرها تبديل محور واحد. بدلاً من حساب الإحصاءات عبر أمثلة تدريبية مختلفة (بُعد الدفعة)، نحسبها عبر جميع الخلايا العصبية داخل الطبقة نفسها على مثال واحد (بُعد الخصائص).

تخيّل جدولاً: كل صفّ مثال تدريبي، وكل عمود خلية عصبية. تسوية الدفعة تُعاير كل عمود — تنظر إلى الأسفل عبر الأمثلة. تسوية الطبقة تُعاير كل صفّ — تنظر عَرضاً عبر الخلايا. وبما أنّ كل صفّ مثال واحد بذاته، لا حاجة لأي مثال آخر.

بعد التسوية، يُطبَّق معامل قياس مُتعلَّم ($\gamma$) وإزاحة مُتعلَّمة ($\beta$) لكل خلية عصبية، ما يتيح للشبكة أن تُعيد تشكيل التوزيع بالشكل الذي يناسب المهمة. التسوية تُزيل التذبذب غير المرغوب، والتحويل الخطي المُتعلَّم يُعيد فقط التغيّر المفيد.

تسوية الطبقة تمرّ بأربع خطوات مباشرة. لنأخذ مثالاً تدريبياً واحداً تنشيطاته في طبقة ما تشكّل متجهاً $\mathbf{x} = (x_1, x_2, \ldots, x_H)$ حيث $H$ عدد الخلايا العصبية. نحسب المتوسط والتباين على كامل المتجه، ثم نُسوّي، ثم نُطبّق تحويلاً خطياً مُتعلَّماً.

قبل أن نرى الرموز، الهدف واضح: نريد أن تقع جميع الخلايا العصبية في الطبقة على مقياس موحّد (متوسط صفري وتباين وحدوي)، ثم نترك الشبكة تختار القياس والإزاحة الأنسب للمهمة. الخطوات الأربع كالتالي.

الشبكات التكرارية تعالج التسلسلات رمزاً برمز. في كل خطوة زمنية $t$، تعتمد الحالة المخفية $\mathbf{h}^t$ على المدخل الحالي والحالة المخفية السابقة. المشكلة أنّ توزيع $\mathbf{h}^t$ قد ينحرف بشدة كلما تقدّم التسلسل — وهذا مرتبط مباشرة بما يُعرف بـالانزياح التغايري الداخلي الذي كان الدافع الأصلي لابتكار تسوية الدفعة.

لو حاولنا تطبيق تسوية الدفعة على شبكة تكرارية، سنحتاج إلى حساب إحصاءات عبر الدفعة عند كل خطوة زمنية، وتخزين متوسطات تراكمية منفصلة للخطوات 1 و2 و3 وهكذا. عملياً هذا غير ممكن: التسلسلات تتفاوت في أطوالها، والخطوة الزمنية 100 قد لا تجد إلا حفنة من الأمثلة فتكون إحصاءاتها بلا قيمة.

تسوية الطبقة تتجاوز هذه المشكلة كلياً. عند كل خطوة زمنية، تُسوّي $\mathbf{h}^t$ عبر أبعادها الـ$H$ مستخدمةً ذلك المتجه الواحد فقط. لا إحصاءات دفعة، ولا تخزين مرتبط بالخطوة الزمنية. الصيغة واحدة في الخطوة 1 والخطوة 1000، أثناء التدريب وأثناء الاستدلال. لذلك كانت الخيار الطبيعي لشبكات LSTM وGRU، ثم لاحقاً لـالمحوِّل.

حين ظهر المحوِّل عام 2017، اختار تسوية الطبقة وسيلةً للاستقرار — لا تسوية الدفعة. في البنية الأصلية، كل كتلة ترميز وفك ترميز تتبع هذا النمط: طبقة فرعية ← جمع الاتصال التخطّي ← تسوية الطبقة. يُعرف هذا الترتيب بـPost-LN.

لاحقاً، نقل GPT-2 ونماذج كثيرة بعده التسوية إلى قبل الطبقة الفرعية: تسوية طبقة ← طبقة فرعية ← جمع الاتصال التخطّي. هذا الترتيب Pre-LN يجعل التدريب أكثر استقراراً في الأعماق الكبيرة، لأنّ مسار الاتصال التخطّي يظلّ نظيفاً — التدرّجات تتدفق عبر عملية الجمع مباشرةً دون أن تمرّ بالتسوية أولاً.

في كلا الترتيبين، الوظيفة واحدة: تسوية الطبقة تُعيد توسيط وتقييس تمثيل كل رمز كي تتلقّى الطبقة الفرعية التالية مدخلات مُكيَّفة. بدونها تتراكم القيم عبر الاتصالات التخطّية مع العمق، ويصبح التدريب هشاً.

تسوية الطبقة واحدة من عائلة أساليب تختلف بحسب الأبعاد التي نحسب عليها المتوسط والتباين. لنتخيّل مُوتّراً رباعي الأبعاد من التنشيطات (دفعة × قنوات × ارتفاع × عرض) — كل أسلوب يقطع شريحة مختلفة منه:

• تسوية الدفعة تُسوّي عبر الدفعة لكل قناة — الصيغة ذاتها لكن على أمثلة مختلفة.
• تسوية الطبقة تُسوّي عبر جميع القنوات (والأبعاد المكانية) لكل مثال — المثال نفسه لكن خصائص مختلفة.
• تسوية النسخة تُسوّي عبر الأبعاد المكانية لكل قناة في كل مثال — شائعة الاستخدام في نقل الأسلوب الفني.
• تسوية المجموعات تقسم القنوات إلى مجموعات وتُسوّي كل مجموعة مستقلّةً — حل وسط بين تسوية الطبقة وتسوية النسخة.

الاختيار يعتمد على طبيعة المهمة. تسوية الدفعة تتألّق في الشبكات الالتفافية ذات الدفعات الكبيرة. تسوية الطبقة هي السائدة في المحوِّلات والشبكات التكرارية. تسوية المجموعات تُفضَّل حين تكون الدفعات صغيرة لكنّ البنية المكانية مهمة (كاكتشاف الأجسام). المفتاح هو فهم المحور الذي تُسوّي عليه.

تسوية الطبقة من تلك الأفكار التي لم تتكشّف أهميتها إلا بما جاء بعدها. حين نُشرت كانت حلاً عملياً لتدريب الشبكات التكرارية. بعد سنة واحدة جاء المحوِّل فجعلها لا غنى عنها. اليوم، كل نموذج لغوي كبير — GPT وClaude وGemini وLLaMA — يُنفّذ تسوية الطبقة (أو سليلتها RMSNorm) في كل طبقة بلا استثناء، مليارات المرات في كل عملية استدلال. فكرة بسيطة — تبديل محور واحد — أصبحت بنية تحتية.