Context Length Extrapolation

قدرة النموذج على التعامل مع تسلسلات أطول مما تدرّب عليه. مرونة RoPE في طول التسلسل ألهمت امتدادات مثل YaRN والتكبير الواعي بـ NTK التي تُعدّل أساس التردد للوصول إلى أطوال سياق كبيرة جداً.

A model's ability to handle sequences longer than those seen during training. RoPE's sequence length flexibility inspired extensions like YaRN and NTK-aware scaling that modify the frequency base to reach very long context lengths.