Sparse Transformer

نسخة من المحوِّل تستخدم أنماط انتباه متفرقة (كثيف ومُحلَّل وخُطوي) بدلاً من الانتباه الكامل، مما يُقلّل التعقيد الحسابي ويسمح بمعالجة سلاسل أطول بكثير.

A Transformer variant using sparse attention patterns (dense, factorized, and strided) instead of full attention, reducing computational complexity and enabling processing of much longer sequences.