Load Balancing

توزيع الحِمل

ضمان توزيع الرموز بشكل متساوٍ على الخبراء لمنع تحميل بعضهم فوق طاقتهم. مشكلة رئيسية في التوازي بين الخبراء حيث يؤدي عدم التوازن إلى عنق زجاجة.

Ensuring tokens are distributed evenly across experts to prevent overloading individual ones. A key challenge in Expert Parallelism where imbalance creates bottlenecks.

Also translated asموازنة الحِمل

First appears in this corpus in: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (2022)

Appears in these papers

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2022 in the sky ✦
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2022 in the sky ✦