Auxiliary-Loss-Free Load Balancing

استراتيجية لتوزيع الرموز بالتساوي على خبراء مزيج الخبراء دون إضافة حدّ خسارة مساعد يتنافس مع هدف التدريب الأساسي. تستخدم انحيازاً ديناميكياً منفصلاً عن التدرّج لتوجيه قرارات البوابة.

A strategy for distributing tokens evenly across MoE experts without adding an auxiliary loss term that competes with the primary training objective. Uses a dynamic bias detached from the gradient to steer gating decisions.