فاكّ الترميز المُعزَّز للقناع

مكوّن في DeBERTa يُضيف طبقة محوِّل إضافية بعد جميع طبقات الانتباه المُفكَّك، تُدمج فيها تضمينات الموضع المطلق مع التمثيلات السياقية قبل التنبؤ بالرموز المُقنَّعة.

A DeBERTa component that adds an additional Transformer layer after all disentangled attention layers, incorporating absolute position embeddings with contextual representations before predicting masked tokens.