إسقاط الرموز

ظاهرة في نماذج خليط الخبراء حيث تتجاوز بعض الرموز طبقة الخبراء لأن الخبير المُخصَّص لها امتلأت سعته. الرموز المُسقَطة تمرّ مباشرةً عبر الاتصال المتبقي بلا معالجة خبيرة.

A phenomenon in MoE models where some tokens bypass the expert layer because their assigned expert has reached full capacity. Dropped tokens pass directly through the residual connection without expert processing.