محوِّل السويتش

بنية محوِّل متفرقة من جوجل تعتمد خبراء متعدّدين مع توجيه من الأعلى-1، إذ تُرسل كل رمز إلى خبير واحد فقط، مما رفع عدد المعلمات إلى تريليون دون رفع كلفة الحساب لكل رمز.

A sparse Google Transformer architecture using a mixture-of-experts layer with top-1 routing that sends each token to exactly one expert, scaling the parameter count into the trillions without increasing per-token compute.