Mask Token

متجه مُتعلَّم مشترك يعمل كبديل لموضع مدخل مفقود. في BERT تمر رموز التقنيع عبر المرمِّز بالكامل؛ أما في MAE فلا تدخل المرمِّز أبداً بل تُضاف فقط في فاكّ الترميز الخفيف.

A shared learned vector that serves as a placeholder for a missing input position. In BERT, mask tokens go through the full encoder; in MAE, they never enter the encoder and are added only in the lightweight decoder.