Expert Parallelism

توازي الخبراء

أسلوب توازٍ يُوزّع خبراء مزيج الخبراء على عقد حوسبة مختلفة، فيستضيف كل عقدة مجموعة فرعية من الخبراء. يتطلب اتصال الكل إلى الكل لإرسال الرموز إلى الخبراء المناسبين.

A parallelism strategy that distributes MoE experts across different compute nodes, with each node hosting a subset of experts. Requires All-to-All communication to dispatch tokens to the appropriate experts.

Also translated asالتوازي في الخبراء

First appears in this corpus in: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (2022)

Appears in these papers

DeepSeek-V3 Technical Report2024 in the sky ✦
Mixtral of Experts2024 in the sky ✦
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2022 in the sky ✦