Asymmetric Encoder-Decoder

بنية يختلف فيها المرمِّز وفاكّ الترميز اختلافاً كبيراً في الحجم والحوسبة. في MAE المرمِّز كبير لكنه يعالج 25% من الرموز فقط، بينما فاكّ الترميز صغير (نحو 9% من حوسبة المرمِّز) لكنه يعالج كل الرموز.

An architecture where the encoder and decoder differ significantly in size and compute. In MAE the encoder is large but processes only 25% of tokens, while the decoder is small (~9% of encoder compute) but processes all tokens.