تدهور العمق

ظاهرة تُلاحَظ في الشبكات العميقة التقليدية حيث تؤدي زيادة الطبقات إلى ارتفاع خطأ التدريب (وليس خطأ الاختبار فحسب)، مما يُظهر أن المشكلة في الأمثَلة وليس في السعة. شبكات الطريق السريع والاتصالات التجاوزية تحلّ هذه المشكلة.

A phenomenon in plain deep networks where adding more layers increases training error (not just test error), showing the problem is optimization, not capacity. Highway networks and residual connections solve this.