التكرار على مستوى المقاطع

آلية من Transformer-XL تُخزّن الحالات الخفية من المقطع المُعالَج سابقاً في ذاكرة مؤقتة، ثم تُتيحها كسياق إضافي عند معالجة المقطع التالي، مُمدّدةً نافذة السياق الفعّالة.

A mechanism from Transformer-XL that caches hidden states from the previously processed segment and makes them available as additional context when processing the next segment, extending the effective context window.