Dynamic Masking

أسلوب تقنيع تُولَّد فيه أنماط الإخفاء من جديد في كل مرة يُدخل فيها التسلسل إلى النموذج، بدلاً من تثبيتها مسبقاً. يمنع النموذج من حفظ مواضع الأقنعة ويُحسّن التعميم عند التدريب لمُدد طويلة.

A masking strategy where mask patterns are regenerated on-the-fly each time a sequence is fed to the model, rather than being fixed during preprocessing. Prevents the model from memorizing mask positions and improves generalization during long training runs.