AWD-LSTM

نسخة مُحسَّنة من شبكة LSTM طوّرها Merity وآخرون (2017) تستخدم عدة أنواع من التسرُّب — تسرُّب الأوزان وتسرُّب المُدخلات وتسرُّب الطبقات — مع مُحسِّن ASGD، وتحقق أداءً متميزاً في نمذجة اللغة دون الحاجة لآليات انتباه أو اتصالات تخطّي.

An optimized LSTM variant by Merity et al. (2017) that uses multiple forms of dropout — weight dropout, input dropout, layer dropout — with the ASGD optimizer, achieving strong language modeling performance without attention or skip connections.