sparse-MoE

深度分析

SDG-MoE：以有號審議圖與簽名訊息傳遞強化稀疏Mixture-of-Experts

在稀疏MoE中，路由後專家通常獨立計算輸出，作者提出SDG-MoE引入支持與批判的有號互動圖與分次審議，專家在聚合前迭代交流並以錨定機制避免漂移。實驗顯示在預訓練對照下，SDG-MoE在困難基準上超越基線並降低困惑度。理論分析指出審議動態可控且通訊成本相較於專家層為低階額外開銷。