Structure Aware Routing

速報

STAR：結構感知路由提升 MoE 專家分工穩定性

Mixture-of-Experts（MoE）模型因能將輸入導向特定專家而具備高效能擴展能力，但傳統的路由機制僅使用淺層線性投射，對輸入結構感知不足，常導致路由不穩。