الانتشار العكسي عبر الزمن: كيف تتعلّم الشبكة من ماضيها

يبدأ فيربوس بفكرة كان من السهل أن تفوت القارئ عام 1990: الانتشار العكسي لا يتعلّق بالعصبونات في جوهره. إنه طريقة لحساب مشتقات كمية واحدة، هي الهدف، بالنسبة إلى كل مُدخل وكل معامل في نظام مبني من خطوات معروفة وقابلة للاشتقاق. والحساب دقيق ورخيص في آن واحد. قد يكون الهدف خطأ التصنيف، وقد تكون المعاملات أوزان شبكة. لكن أول تطبيق عملي له، في أطروحة فيربوس عام 1974، كان ملاءمة نموذج ديناميكي للنزعة القومية والتواصل الاجتماعي.

ثم يعرض الحالة المألوفة بتدوين جديد. في الشبكة أمامية التغذية تُحسَب قيمة كل عصبون من قيم كل العصبونات التي تسبقه: مجموع موزون نسمّيه $\mathrm{net}_i$، تليه دالة سينية هي $s(z) = 1/(1+e^{-z})$. والشبكات ذات الطبقات حالة خاصة، تُثبَّت فيها أغلب هذه الأوزان عند الصفر. ويقوم التدريب على تقليل مجموع مربّعات الخطأ على بيانات التدريب بطريقة الانحدار الأشدّ. نحسب مشتقة الخطأ بالنسبة إلى كل وزن، ثم نحرّك كل وزن عكس مشتقته بخطوة يحدّدها معدّل التعلّم. ونصيحته أن تبدأ الأوزان صغيرة وعشوائية، وأن يُرفَع المعدّل حتى يبدأ الخطأ بالتباعد.

لا جديد في شيء من هذا. الجديد الوحيد، كما يقول، هو طريقة حساب المشتقات: حساب دقيق لجميع الأوزان في مرور واحد عبر النظام.

حين عرض فيربوس الفكرة على أساتذة هارفارد عام 1972، شكّكوا في إمكان الوثوق بحسابات متشابكة إلى هذا الحد. فكان جوابه مبرهنة: قاعدة السلسلة في صيغتها الخاصة بـالمشتقات المرتّبة. تصلح هذه القاعدة لأي نظام يمكن حساب كمياته واحدة بعد أخرى بترتيب ثابت، آخرها الهدف.

الفكرة كلها قائمة على التمييز بين نوعين من المشتقات. المشتقة الجزئية العادية تقيس الأثر المباشر: نغيّر متغيّراً واحداً ونُبقي كل ما عداه ثابتاً. أما المشتقة المرتّبة فتقيس الأثر الكلّي: نغيّر المتغيّر ثم نعيد حساب كل ما يأتي بعده. مثال الورقة نظام من معادلتين: $z_2 = 4 z_1$ و $z_3 = 3 z_1 + 5 z_2$. الأثر المباشر لـ $z_1$ في $z_3$ هو 3. أما الأثر الكلّي فهو 23، لأن $z_1$ يحرّك $z_2$ أيضاً، و $z_2$ يحرّك $z_3$ من جديد: $3 + 4 \times 5$. فأيّ الأثرين يهمّنا في التدريب؟ الأثر الكلّي. ففي الشبكة الحقيقية، كل ما يأتي بعد المتغيّر يتحرّك معه، ولا يبقى شيء منه ثابتاً.

يعطي فيربوس المشتقة المرتّبة للخطأ بالنسبة إلى متغيّرٍ اسماً قصيراً: «التغذية الراجعة» إلى ذلك المتغيّر، ويرمز لها بالبادئة «F_». بعد هذه التسمية يصير الحساب آلياً. نبدأ بالتغذية الراجعة إلى المخرجات، وهي ببساطة الخرج مطروحاً منه الهدف. ثم نمرّ على العصبونات بترتيب معكوس. كل عصبون يجمع التغذية الراجعة من كل عصبون لاحق يغذّيه، موزونةً بقوة الرابط بينهما. ثم نضربها في ميل الدالة السينية $s'(z) = s(z)(1-s(z))$، فنحصل على التغذية الراجعة إلى مُدخله $\mathrm{net}$. وتدرّج الوزن هو هذه القيمة مضروبة في التنشيط الداخل عبر ذلك الوزن. ومن هذا السريان العكسي للمعلومات جاء اسم الطريقة. ولكل عصبون في الشيفرة إجراء فرعي مقابل يمرّ على الروابط نفسها في الاتجاه المعاكس.

وفي الورقة ملاحظتان عمليتان تستحقان التوقّف عندهما. الأولى أن كل مشتقة مرتّبة يمكن التحقّق منها بالاضطراب: نحرّك المتغيّر قليلاً في موضع حسابه ونعيد التشغيل. يُلحّ فيربوس على هذا لكشف الأخطاء البرمجية، ويعترف بأنه لم يشغّل الشيفرة الزائفة التي كتبها. والثانية أن التغذية الراجعة التي تصل إلى المُدخلات مفيدة بذاتها. فهي تقول لنا مدى تأثّر الهدف بكل مُدخل، وهذا أساس تحليل الحساسية.

بعض مهام التصنيف تتحسّن إذا استطاعت الشبكة أن تستفيد مما رأته قبل ذلك. أمثلة الورقة هي التعرّف على الكلام، وكشف الغواصات، وتمييز الأجسام المتحرّكة. فتمييز الحركة يتطلّب مقارنة المشهد عند اللحظة $t$ بالمشهد عند $t-1$. وكثير من أنظمة التعرّف الجيدة تبني صورتها عن العالم في اللحظة $t$ بتعديل صورتها في اللحظة السابقة. حتى مرشّح كالمان يعمل بهذه الطريقة.

أوضح أمثلة فيربوس يأتي في موضع لاحق من الورقة. تخيّل كرة تتدحرج تحت طاولة ثم تخرج من جهتها الأخرى. المتنبّئ الذي لا ذاكرة له لا يرى إلا المُدخل الحالي. فإذا غابت الكرة عن النظر، لم يبقَ لديه شيء يبني عليه. أما المتنبّئ الذي يملك ذاكرة فيستطيع أن يواصل تتبّعها. ويستشهد فيربوس بصيغة أطرف لهارولد سو: إنسان بلا ذاكرة يطارده نمر، ينسى النمر بمجرّد أن يستدير ليهرب.

الحل شبكة تستقبل عصبوناتها مُدخلات من خطوات زمنية سابقة أيضاً. وصيغة فيربوس عامة عن قصد: شبكة متكرّرة بتأخير زمني، يستطيع فيها أي عصبون أن يقرأ قيمة أي عصبون آخر قبل خطوة أو خطوتين.

هنا الملاحظة المركزية في الورقة. الشبكة المتكرّرة ما زالت تحسب قيمها بترتيب ثابت، بشرط أن يمتدّ هذا الترتيب عبر الزمن كما يمتدّ عبر العصبونات. وإذا كان الأمر كذلك، فقاعدة السلسلة للمشتقات المرتّبة تنطبق كما هي دون تعديل. ومن هنا يُبنى الانتشار العكسي عبر الزمن في ثلاث خطوات.

الخطوة الأولى: شغّل الشبكة إلى الأمام على التسلسل كله، من $t = 1$ إلى $t = T$، واحفظ كل قيمة وسيطة. الخطوة الثانية: عامِل هذا التشغيل كله على أنه مخطّط حساب واحد كبير أمامي التغذية، فيه نسخة من الشبكة لكل خطوة زمنية. هذا ما نسمّيه فرد الشبكة عبر الزمن. لكن النسخ ليست مستقلّة، فهي تتقاسم الأوزان نفسها، وهذه هي مشاركة المعاملات. الخطوة الثالثة: أرسل إشارة الخطأ إلى الوراء من الخطوة الأخيرة إلى الأولى، وأضف عند كل خطوة إسهامها إلى تدرّج كل وزن مشترك.

ماذا نكسب من ذلك؟ نحلّ مسألة إسناد المسؤولية عبر الزمن. فالمُدخل عند الخطوة $t$ صار يمكن أن يُحاسَب، لوماً أو فضلاً، على خطأ ظهر عند الخطوة $t + k$. وسلسلة التغذية الراجعة بينهما هي التي تنقل هذا الاعتماد الزمني إلى التدرّج. بعبارة أخرى، ما يحدث في لحظة مبكرة يُسجَّل أثره في تحديث الأوزان، حتى لو لم يظهر هذا الأثر إلا بعد خطوات.

في الورقة نصائح عملية مأخوذة من تجربة فيربوس نفسه. الانتشار العكسي عبر الزمن يلائم بطبيعته التحديث الدفعي. فالمشتقات لا توجد إلا بعد مرور أمامي وعكسي كاملين، ولذلك تتغيّر الأوزان مرة واحدة لكل تسلسل. وفي العادة يجب أن يكون معدّل التعلّم أصغر بكثير مما هو في الانتشار العكسي العادي. ومن المفيد أيضاً أن تبدأ أوزان الذاكرة $W'$ مثبَّتة عند الصفر، أو عند الواحد لإجبار الشبكة على التذكّر، ثم تُحرَّر تدريجياً.

وليس كل خطأ في كل لحظة مهماً بالضرورة. في التعرّف على الكلام مثلاً، قد لا يهمّنا إلا التصنيف عند نهاية كل فونيم. يكفي عندها أن نجعل التغذية الراجعة من الخرج صفراً في اللحظات الأخرى. وتلاحظ الورقة أن أي معيار خطأ آخر يمكن وضعه مكان المعيار الأصلي بالسهولة نفسها. وحين تأتي البيانات تسلسلاتٍ منفصلة، ككلمات أو تجارب روبوت، يطبّق التعلّم بالتسلسلات المرور الأمامي والعكسي على تسلسل واحد، ويحدّث الأوزان، ثم ينتقل إلى التالي. فلا يلزم تخزين أكثر من تسلسل واحد في كل مرة.

ثم يتناول فيربوس القيم الصغرى المحلية. يرى أنها أقل خطراً مما يُشاع حين تفوق أنماطُ التدريب عددَ المُدخلات بكثير. لكنه يبيّن أيضاً مدى سهولة ظهورها، ويكفيه لذلك مثال من ثلاثة أنماط تدريب ووزنين فقط.

لكل نمط من الأنماط الثلاثة خطٌّ مستقيم في فضاء الأوزان، وكل نقطة عليه تطابق ذلك النمط تماماً. والخطوط الثلاثة تشكّل مثلثاً. يقول فيربوس إن رؤوس المثلث تقابل تقريباً قيماً صغرى محلية. وإعادة بناء مثاله تكشف متى يصحّ ذلك. مع مربّع الخطأ العادي ودالة سينية، تكون الأخاديد حول الخطوط ليّنة، فتندمج في وادٍ واحد في الوسط. أما مع معيار أحدّ، كالخطأ مرفوعاً للأس 1.5 الذي تقترحه الورقة نفسها، فتصير الأخاديد شديدة الانحدار، ويَعلق الانحدار عند أقرب رأس من رؤوس المثلث. أي أن ظهور هذه القيم الصغرى هنا يتوقّف على معيار الخطأ الذي نختاره. وهذا هو تحذير الورقة العام في صورة مصغّرة: الأنماط المتعارضة قد تخلق قيماً صغرى حتى في أصغر المسائل.

وفي مسألة السرعة، يتكلّم فيربوس بصراحة: الانحدار الأشدّ طريقة غير فعّالة. ويستشهد بقواعد تجريبية سرّعت التقارب مئة ضعف. أما طرق شبه نيوتن فلا تنجح إلا مع نحو مئة وزن. والتدرّجات المترافقة بصيغة بولاك–ريبيير تحتاج إلى تعلّم دفعي وإلى بحث خطّي دقيق جداً. وأفضل ما نجح معه هو طريقة شانو في التدرّجات المترافقة. ويذكّر كذلك بأن مربّع الخطأ ليس مقدّساً. فالأس 1.5 يعمل مع كل المعادلات السابقة بالقدر نفسه. وإذا أضفنا اضمحلال الأوزان إلى شبكة خطية، اقتربت النتيجة، كلما كبرت العقوبة، من المعكوس الزائف عند كوهونن. وقد دافع بعض الإحصائيين عن هذا الأسلوب بوصفه تنبّؤاً بالقياس على حالات سابقة.

المشتقات نفسها تخدم أغراضاً أبعد من تمييز الأنماط. في تعرّف الأنظمة، أو «التعرّف العصبي» كما يسمّيه فيربوس، الهدف هو تعلّم نموذج يتنبّأ بسلوك نظام ديناميكي. في كل خطوة تستقبل الشبكة المشاهدات $X(t)$، والأفعال $u(t)$ التي كانت تحت سيطرتنا، وتُدرَّب على التنبّؤ بـ $X(t+1)$. ومن دون ذاكرة، لا يستطيع التنبّؤ أن يستعمل إلا الحاضر، فنعود إلى الكرة التي اختفت تحت الطاولة. أما الانتشار العكسي عبر الزمن فيسمح بنموذج له حالة خفية، أي ذاكرة داخلية يحملها من خطوة إلى التي تليها، فيبقى أثر الكرة فيها حتى وهي غائبة عن النظر. ويسرد فيربوس نقاط الضعف الباقية بوضوح: قد تسوء التنبّؤات على مدى عدة خطوات، والطريقة لا تحدّد مصدر الضجيج، ولا تستطيع التكيّف في الزمن الحقيقي.

والطريقة تتجاوز الشبكات العصبية بكثير. فأي نموذج مكتوب كسلسلة من المعادلات القابلة للاشتقاق، كالنماذج الاقتصادية القياسية، يمكن تكييفه ببناء نظيره المقابل، الذي يمرّ على معادلاته نفسها في الاتجاه المعاكس. بل يمكن أن يعمل الانتشار العكسي داخل حزمة إحصائية دون أن يراه المستخدم أصلاً. أما النماذج التي يجب حلّ معادلاتها معاً في كل خطوة زمنية فتحتاج إلى عناية أكبر. وبلغة الشبكات، هذه شبكات «مزدوجة التكرار»، وقد سمّاها فيربوس لاحقاً الشبكة المتكرّرة المتزامنة. والشبكات التي تستقرّ على حالة توازن، مثل شبكات بينيدا وألميدا، حالات خاصة منها. وهذه الشبكات المستقرّة قريبة الصلة بـشبكة هوبفيلد.

في التحكّم العصبي لا يكون الهدف خطأً. الهدف هنا مقياس للأداء اسمه المنفعة، ونجمعه على امتداد الزمن. وأمثلة الورقة تمتدّ من الطاقة التي تصرفها ذراع روبوت إلى صافي أرباح صناعة الغاز. وتشترك في العمل شبكتان. الأولى نموذج المنظومة المتحكَّم بها، وهو يتنبّأ بكيفية استجابتها. والثانية شبكة الفعل، تنظر إلى الحالة وتختار إشارة التحكّم $u(t)$. والتدريب يقع على شبكة الفعل وحدها.

والإجراء هو الانتشار العكسي عبر الزمن مطبَّقاً على النظام المركّب. من كل حالة بداية، نشغّل شبكة الفعل والنموذج إلى الأمام حتى اللحظة $T$. ثم نمسح إلى الوراء من $T$ إلى الخطوة الأولى، مروراً بالصيغة المقابلة لدالة المنفعة، ثم للنموذج، ثم لشبكة الفعل. يعطينا هذا المسح مشتقة المنفعة الكلّية بالنسبة إلى كل وزن في شبكة الفعل. بعد ذلك تتحرّك الأوزان مع التدرّج لا عكسه، لأن المطلوب تعظيم المنفعة. وكما يقول فيربوس، كلمة «الانتشار العكسي» تصف طريقة حساب المشتقات فقط. لا شيء في الطريقة يشترط وجود خطأ أو تصنيف. وهذا هو النهج الذي استعمله نغوين وويدرو في مسألة «الشاحنة التي ترجع إلى الرصيف»، واستعمله جوردان كذلك.

يوضّح العرض لماذا يهمّ المسح العكسي الكامل في التحكّم. الضغط على دوّاسة الوقود الآن يغيّر السرعة فوراً. لكنه لا يغيّر الموضع إلا لاحقاً. أما كلفة الوصول بسرعة زائدة فتظهر بعد ذلك بوقت أطول. والتدرّج الذي لا ينظر إلا خطوة أو خطوتين إلى الأمام لا يرى هذه العواقب. ولذلك يتعلّم متحكّماً لا يفعل شيئاً، أو متحكّماً يرتطم بالرصيف. أما الانتشار العكسي عبر المسار كله فيسمح لأثر قرار الكبح المتأخّر أن يصل إلى الأوزان المسؤولة عنه.

اختار فيربوس هذه الطريقة لتطبيقه على صناعة الغاز الطبيعي لأنها سريعة ودقيقة. لكنه يسمّي نقطة ضعفها بوضوح. فهي تعامل النموذج على أنه حتمي، ولذلك لا تحسب حساب الضجيج في العملية المتحكَّم بها. ولهذا الغرض، وللتعلّم أثناء تشغيل النظام، يشير إلى عائلة طرق الناقد التكيّفي. هذه الطرق تتعلّم تقدير المنفعة المستقبلية، على طريقة البرمجة الديناميكية التقريبية، ولا تحتاج إلى أي مرور عكسي عبر الزمن.

تكاليف هذه الطريقة نابعة من بنيتها، ويذكرها فيربوس بوضوح. فهي تحتاج إلى التاريخ الأمامي كله قبل أن تحسب أي شيء. ولذلك تنمو الذاكرة مع طول التسلسل، ولا يحدث التعلّم إلا بعد انتهائه. وتقليل عدد الروابط يخفّف التخزين، لكنه لا يلغيه. وهذا يستبعد التعلّم الآني الحقيقي، الذي تُستعمَل فيه كل مشاهدة مرة واحدة ثم تُهمَل.

ويمكن أيضاً حساب المشتقات الدقيقة أثناء السير إلى الأمام في الزمن. تحتفظ هذه الطريقة في كل خطوة بمقدار اعتماد كل عصبون على كل وزن. إنها طريقة ويليامز وزيبسر، المعروفة اليوم باسم التعلّم المتكرّر الآني، وإن كانت الورقة لا تستعمل هذا الاسم. كان فيربوس قد درس معادلات الاضطراب الأمامية هذه عام 1982، ورفضها للشبكات العصبية لأن كلفتها تنمو مع مربّع حجم الشبكة. والبديل التقريبي أن نعيد صياغة مسائل الذاكرة كمسائل تحكّم، ونستعمل النقّاد التكيّفيين. هذه الطرق غير دقيقة ومعقّدة، لكنها تسير إلى الأمام في الزمن. وتوصية فيربوس في الوقت الراهن أن نقبل بالتعلّم بالتسلسلات، ولا ندفع ذلك الثمن.

ما حسمته الورقة هو الإجراء. فكل شبكة عصبية متكرّرة دُرّبت منذ ذلك الحين تستعمل الإجراء الموصوف هنا: افرد، خزّن، ثم امسح إلى الوراء. وفي الغالب يُقتطَع المسح عند نافذة ثابتة. وهذه هي مقايضة الأفق نفسها التي رأيناها في عرض الشاحنة، مطبَّقة هذه المرة على البيانات لا على التحكّم.

أما ما تركته الورقة مفتوحاً فصار الفصل التالي. فهي تعطي تدرّجات دقيقة عبر تسلسلات طويلة، لكنها لا تقول شيئاً عن حجم هذه التدرّجات بعد مئة خطوة. ثم بيّن بنجيو وزملاؤه أنها في الغالب إما تتقلّص نحو الصفر أو تنفجر، وهذا ما يجعل تعلّم الاعتمادات البعيدة صعباً. وصُمّمت LSTM لعلاج ذلك، بأن تعطي الخطأ مساراً عبر الزمن لا يتقلّص. ومع ذلك، ما زالت الاثنتان تعتمدان على المسح العكسي الذي وصفته هذه الورقة لحساب تدرّجاتهما.