AlltoAll

深度分析

DODOCO 實驗揭示 MoE AlltoAll 路由不均來源與系統互連設計建議

本研究檢驗MoE專家平行訓練中AlltoAll分派的兩項基本假設：系統層能否矯正路由不均與合成Benchmark是否代表真實語料。透過五套公開MoE檢查點與多種資料情境的矩陣實驗，發現EP刻度對每專家負載比影響極小，而隨機mocktoken常常高估路由不均，並建議以工作負載分群作為互連與派送設計輸入。