الانتباه الجمعي

آلية تقييم انتباه تحسب درجة الصلة بجمع إسقاطين خطيين (لحالة فاكّ الترميز وتمثيل المُرمِّز) ثم تطبيق دالة tanh، بخلاف الانتباه الضربي الذي يستخدم الضرب النقطي.

An attention scoring mechanism that computes relevance by adding two linear projections (of the decoder state and encoder annotation) then applying tanh, in contrast to multiplicative attention which uses a dot product.