تعلُّم الاعتماديّات طويلة المدى بالانحدار التدريجي مهمة صعبة

الشبكة التكرارية تعالج التسلسلات بالاحتفاظ بـحالة مخفية $h_t$ تتحدّث عند كل خطوة زمنية. الفكرة أن هذه الحالة المخفية يمكنها — نظرياً — أن تحمل معلومات من الماضي البعيد، فالشبكة «تتذكّر» بترميز المدخلات السابقة داخل $h_t$. أما التدريب فيستخدم الانتشار العكسي عبر الزمن (BPTT): نفرد الشبكة على جميع الخطوات الزمنية ثم ننشر تدرّج الخطأ إلى الخلف.

المشكلة أن هذا الانتشار العكسي يستلزم ضرب سلسلة طويلة من مصفوفات يعقوبي — مصفوفة عن كل خطوة زمنية. بحلول 1994 كان المهندسون يلاحظون أن الشبكات التكرارية تتعلّم الأنماط القصيرة (5–10 خطوات) لكنها تفشل فشلاً ذريعاً في أي شيء أطول من ذلك: إما أن يتوقف التعلّم تماماً لأن التدرّج الواصل إلى الخطوات المبكّرة يتلاشى إلى الصفر، أو أن ينفجر فتفقد العملية استقرارها العددي.

ما فعله بنجيو وزملاؤه هو الإجابة عن سؤال لماذا يحدث هذا رياضياً، لا مجرد توثيق أنه يحدث.

الحالة المخفية تتطوّر وفق المعادلة $h_t = f(W_h h_{t-1} + W_x x_t + b)$، حيث $f$ دالة تفعيل غير خطية (كالدالة السينية أو tanh)، و$W_h$ مصفوفة الأوزان التكرارية. حين ننشر الخطأ عكسياً من الخطوة $T$ إلى خطوة سابقة $t$، قاعدة السلسلة تعطينا جُداءً من مصفوفات يعقوبي:

$\frac{\partial h_T}{\partial h_t} = \prod_{k=t}^{T-1} J_k$

كل $J_k = \text{diag}(f'(z_k)) \cdot W_h^{\top}$ هي مصفوفة يعقوبي عند الخطوة $k$. والسؤال الجوهري هنا: ماذا يحدث لهذا الجُداء كلّما اتسعت الفجوة $T - t$؟

الأمر يشبه الفائدة المركّبة لكن مطبّقة على حجم التدرّج. لو أن كل مصفوفة يعقوبي تقلّص التدرّج بمعامل 0.9، فبعد 50 خطوة يصبح $0.9^{50} \approx 0.005$ — صفر عملياً. وبعد 100 خطوة يهبط إلى $0.9^{100} \approx 0.00003$. الشبكة حرفياً لا «ترى» ما حدث قبل 100 خطوة.

والعكس بالعكس: لو أن كل مصفوفة تضخّم بمعامل 1.1، فبعد 50 خطوة يصبح التدرّج $1.1^{50} \approx 117$، وبعد 100 خطوة يقفز إلى $1.1^{100} \approx 13{,}781$. عند هذا الحدّ تنهار عملية الأمثَلة عددياً والأوزان تتأرجح بلا ضابط.

صاغ بنجيو هذا رسمياً عبر النظيم الطيفي (أكبر قيمة مفردة) لـمصفوفة يعقوبي. حين يكون $\|J_k\| < 1$ لكل $k$ يتقلّص الجُداء $\|\prod J_k\| \leq \prod \|J_k\|$ أُسِّياً، وحين يكون $\|J_k\| > 1$ يتضخّم أُسِّياً. أما الحدّ $\|J_k\| = 1$ فهو نقطة توازن هشّة — أدنى اضطراب يدفعك إلى أحد الجانبين.

أهم ما في هذه الورقة ليس أن التدرّجات تتلاشى — بل أن تلاشي التدرّجات والذاكرة الموثوقة هما وجهان لعملة واحدة.

لكي «تتذكّر» الشبكة التكرارية معلومةً ما، يجب أن تستقر حالتها المخفية في منطقة ثابتة — حوض جذب لا تزحزحها منه الاضطرابات الصغيرة. رياضياً هذا يتطلب أن تكون القيم الذاتية لـمصفوفة يعقوبي عند هذا الجاذب أقل من 1 في القيمة المطلقة. لكن هذا تحديداً هو الشرط الذي يُفضي إلى تلاشي التدرّجات!

المسألة إذن مقايضة صريحة: إن أردت تخزيناً متيناً (قيم ذاتية أدنى بكثير من 1) فالتدرّجات تضمحل أُسِّياً والشبكة لا تستطيع تعلّم استثمار تلك الذاكرة. وإن أردت تدرّجات قوية (قيم ذاتية قريبة من 1 أو أعلى) تصبح المعلومات المخزّنة هشّة — أي ضوضاء أو مدخل جديد يمحوها.

تخيّل خزانة ملفات بقفل صلب: القفل يحمي المستندات من السقوط العَرَضي (تخزين متين)، لكن صلابته ذاتها تجعل فتح الخزانة لإيداع ملف أو سحبه أمراً عسيراً (صعوبة التعلّم). وإن خفّفت القفل سهل الإيداع لكن المستندات تتطاير عند أدنى اهتزاز.

دالة التفعيل تلعب هنا دوراً حاسماً. لنأخذ الأرقام: الدالة السينية $\sigma(z) = 1/(1+e^{-z})$ أقصى مشتقتها هو 0.25 فقط (عند $z = 0$)، بينما tanh أقصى مشتقتها 1.0 (عند $z = 0$ أيضاً). ما الذي يترتب على ذلك؟

• مع السينية: كل عامل في مصفوفة يعقوبي محدود بـ $0.25 \times \|W_h\|$. حتى لو كان $\|W_h\| = 4$ يظل العامل 1.0 على الأكثر — وعملياً نادراً ما تقع التفعيلات عند $z = 0$ تماماً، فالحدّ الفعلي أقل بكثير. النتيجة: التدرّجات تتلاشى في الغالب الأعمّ.

• مع tanh: الحدّ يصبح $1.0 \times \|W_h\|$، مما يمنح هامشاً أوسع قليلاً لكنه لا ينجو من السلوك الأُسّي ذاته.

الأطراف المسطحة لهذه الدوال المُشبَعة هي ما يقتل التدرّجات فعلياً: بمجرد أن يدخل العصبون منطقة الإشباع ($|z| \gg 0$) تهبط المشتقة المحلية إلى قرب الصفر ولا يعبر أي تدرّج. تخيّل أنبوباً يضيق كلما ابتعدت عن مركزه — عند الأطراف ينقطع تدفّق المعلومات تماماً.

لإثبات المشكلة عملياً، صمّم بنجيو وزملاؤه تجربة بسيطة وحاسمة. الفكرة — وتُسمّى «مهمة المِزلاج» — تعمل هكذا: في بداية التسلسل تتلقى الشبكة إشارة ثنائية (0 أو 1)، ثم تمرّ عليها خطوات زمنية كثيرة من «مشوِّشات» لا علاقة لها بالمهمة، وفي النهاية يُطلب منها أن تُخرج قيمة تلك الإشارة الأولى.

حين كانت الفجوة 20 خطوة نجح الانتشار العكسي عبر الزمن. لكن حين وصلت إلى 50 خطوة فشل فشلاً تاماً — التدرّج تلاشى إلى درجة أن الشبكة لم تستطع تعلّم أي ربط بين المدخل المبكّر والمخرج المتأخّر. تصرّفت وكأن الإشارة الأولى لم تكن موجودة أصلاً.

هذا الفشل «النظيف» أكّد التنبؤ النظري: المشكلة ليست نقصاً في وقت التدريب — بل استحالة رياضية أن يتعلّم الانحدار التدريجي العادي هذه الاعتماديات طويلة المدى متى تجاوزت الفجوة حداً معيناً.

بنجيو وزملاؤه لم يكتفوا بتشخيص المشكلة، بل اقترحوا حلولاً — وإن كانت الحلول الأبقى أثراً جاءت لاحقاً من باحثين بنوا على هذا التحليل:

في الورقة نفسها جرّب المؤلفون ثلاثة مسارات: (1) التلدين المحاكى وهو أسلوب أمثَلة لا يعتمد على التدرّج أصلاً فيتجنب مشكلة التلاشي؛ (2) انتشار الخطأ المنفصل الذي يستبدل التدرّجات المستمرة بتغيّرات إشارة؛ (3) عقوبات مرجّحة زمنياً تعطي إشارة تعلّم أقوى للخطوات القريبة. نجحت هذه الطرق على مسائل بسيطة لكنها لم تصمد عند التوسّع.

أما الحلول التي صمدت فجاءت مستلهَمة من هذا التحليل:

• LSTM (1997): قدّم هوخرايتر وشمِدهوبر خلايا ذاكرة ببوّابات تتضمن «دولاب خطأ ثابت» — مسار خطي ينساب فيه التدرّج بلا تغيير (قيمة ذاتية = 1 على طول حالة الخلية)، مما يتجاوز مشكلة التلاشي كلياً.

• اقتطاع التدرّج (2013): بيّن باسكانو وآخرون أن تلاشي التدرّجات مشكلة بنيوية لا مهرب منها، لكن انفجارها يمكن ترويضه ببساطة بتحديد سقف لـنظيم التدرّج — وهو امتداد مباشر لتحليل بنجيو.

• تهيئة زافييه/غلوروت (2010): أثبت غلوروت وبنجيو (نعم، بنجيو نفسه) أن تهيئة الأوزان بحيث تحافظ كل طبقة على تباين التفعيلات تؤخّر ظهور التلاشي والانفجار في الشبكات الأمامية العميقة.

من المفاهيم المحورية في الورقة ما يُسمى «الجاذب الزائدي» — وهو نقطة أو منطقة في فضاء الحالة المخفية تنجذب إليها الديناميكيات تلقائياً. تخيّل وادياً في تضاريس: أي كرة تضعها على السفح ستتدحرج إلى القاع وتستقر هناك.

حين تخزّن الشبكة التكرارية معلومة (مثل «المدخل كان من الفئة أ»)، فهي تفعل ذلك بالاستقرار في حوض جذب معيّن. عمق الوادي يحدّد المتانة: وادٍ عميق يحمي الحالة من الانزياح بفعل الضوضاء، لكنه في الوقت نفسه يحبس التدرّجات داخله فلا تستطيع إرسال إشارات تعلّم إلى الماضي.

الشكل المحوري في الورقة يجسّد هذا: داخل حوض الجذب تتقارب كل المسارات نحو الجاذب (ممتاز للتخزين)، لكن القيم الذاتية لـمصفوفة يعقوبي تبقى أقل من 1 في كل نقطة من هذا الحوض (كارثي للتدرّجات).