Node-Limited Routing

قيد في توجيه مزيج الخبراء يحصر اختيار الخبراء لكل رمز ضمن عدد محدود من عقد الحوسبة، ما يُقلّص حركة الاتصال بين العقد مع الحفاظ على جودة النموذج.

A constraint in MoE routing that limits each token's expert selection to a fixed number of compute nodes, reducing cross-node communication traffic while preserving model quality.