انحياز الموضع النسبي

بديل للترميزات الموضعية الجيبية حيث يتعلم كل رأس انتباه جدولاً صغيراً من قيم الانحياز مفهرساً بالمسافة بين موضعَي الاستعلام والمفتاح. يتيح التعميم على أطوال تسلسلات أكبر مما شُوهد أثناء التدريب.

An alternative to sinusoidal positional encodings where each attention head learns a small bias table indexed by the distance between query and key positions. Enables generalization to longer sequences than seen during training.