Relative Position Bias

بديل للترميزات الموضعية الجيبية حيث يتعلم كل رأس انتباه جدولاً صغيراً من قيم الانحياز مفهرساً بالمسافة بين موضعَي الاستعلام والمفتاح. يتيح التعميم على أطوال تسلسلات أكبر مما شُوهد أثناء التدريب.

An alternative to sinusoidal positional encodings where each attention head learns a small bias table indexed by the distance between query and key positions. Enables generalization to longer sequences than seen during training.