ALiBi

طريقة بديلة لترميز المواقع في المحوِّل: بدلاً من إضافة متجهات موضعية إلى التضمينات، يُطرح حدّ خطي يعتمد على المسافة بين الرموز من درجات الانتباه مباشرةً. كل رأس انتباه يحصل على ميل مختلف، ما يسمح لبعض الرؤوس بالتركيز محلياً وأخرى بالامتداد لمسافات بعيدة.

An alternative positional encoding for Transformers: instead of adding position vectors to embeddings, it subtracts a linear distance-dependent term from attention scores. Each attention head gets a different slope, letting some heads attend locally and others globally.