التدرج المتناثر

تدرج تفاضلي تكون معظم مكوناته أصفاراً، وينشأ عادة في طبقات التضمين الدلالي حيث تُحدَّث كلمات قليلة فقط في كل دُفعة.

A gradient where most components are zero, typically arising in embedding layers where only a few tokens are updated per batch.