توازي الخبراء

أسلوب توازٍ يُوزّع خبراء مزيج الخبراء على عقد حوسبة مختلفة، فيستضيف كل عقدة مجموعة فرعية من الخبراء. يتطلب اتصال الكل إلى الكل لإرسال الرموز إلى الخبراء المناسبين.

A parallelism strategy that distributes MoE experts across different compute nodes, with each node hosting a subset of experts. Requires All-to-All communication to dispatch tokens to the appropriate experts.