Router

مكوّن خفيف الوزن في طبقة مزيج الخبراء يقرر أيّ الخبراء يُعالجون كل رمز. عادةً طبقة خطية تليها اختيار Top-K ودالة Softmax.

A lightweight component in an MoE layer that decides which experts process each token. Typically a linear layer followed by Top-K selection and softmax.