موازنة الحمل بدون خسارة مساعدة

استراتيجية لتوزيع الرموز بالتساوي على خبراء مزيج الخبراء دون إضافة حدّ خسارة مساعد يتنافس مع هدف التدريب الأساسي. تستخدم انحيازاً ديناميكياً منفصلاً عن التدرّج لتوجيه قرارات البوابة.

A strategy for distributing tokens evenly across MoE experts without adding an auxiliary loss term that competes with the primary training objective. Uses a dynamic bias detached from the gradient to steer gating decisions.