SDG-MoE：以有號審議圖與簽名訊息傳遞強化稀疏Mixture-of-Experts

導讀

稀疏Mixture-of-Experts（MoE）透過只啟動少數專家，達到較好容量與計算之權衡。傳統Top-K路由會把每個token送到被選中的專家，讓它們各自計算輸出後再以加權平均合成最終表示。然而，這種做法當中，已被路由的專家彼此之間並不直接交互，可能錯失「專家之間互相支援或反駁」所帶來的表示強化。

核心概念：把專家當成小型審議委員會

SDG-MoE（Signed Debate Graph Mixture-of-Experts）提出把活躍的專家視為一個小型的互動社群。在每次路由並計算出初始專家表示後，系統為該活躍集合學習兩張互動矩陣：一張支持圖（A+）與一張批判圖（A−）。這兩張有號圖分別刻畫正向強化與抑制性修正的影響，並以簽名訊息傳遞（signed message passing）機制在共享子空間中進行迭代更新。

私有與共享狀態的設計

為了同時保有專家專化與協同效益，SDG-MoE把每個專家的輸出拆成私人子空間與共享子空間兩部分。私人子空間直接繞過社群審議，保留專家的專業特性；共享子空間則參與有號訊息傳遞並在多輪審議後被聚合，這樣可以在不破壞個別專家特色的情況下改善整體表示。

錨定與分歧門控：穩定而有選擇的審議

SDG-MoE引入一種類似Friedkin–Johnsen的錨定機制，讓每輪的更新保有對初始表示的依附（anchoring），避免反覆通信導致專家表示無限制漂移。除此之外，系統根據專家間的分歧計算門控（disagreement gate），分歧越大時開啟溝通強度的門控由此放大，使得訊息流量會隨爭議程度調節，而非一律開啟或關閉。

理論要點：成本與穩定性

論文在數學上分析了審議動態的穩定條件，指出只要錨定係數與通訊強度在適當範圍內，迭代更新會收斂到唯一固定點，且共享狀態相對初始狀態的偏移有上界。同時，單輪通訊代價是與活躍專家數K和瓶頸維度b相關的低階項，對整體Top-K專家前饋成本而言屬於小額額外開銷，於是SDG-MoE被視為「在活躍集上做補正」而不是再增加一個大型專家層。

與既有方法的比較分析

現有工作多採用在專家輸出後做集中式融合或加入注意力式融合、中央記憶節點等機制，使專家間能間接溝通。相較之下，SDG-MoE的差異在於：它讓活躍專家直接互為同儕，並以「有號」關係顯式區分支持與批判訊息。這種設計更接近社會審議或委員會討論，能捕捉同意與反駁兩類訊號，而非僅靠單純的加權或單向記憶匯聚。

實驗摘要

在受控的預訓練實驗中（使用類Qwen的解碼器式Transformer變體並縮放到實驗預算），SDG-MoE在驗證困惑度上較未使用有號交互的最強基線改善19.8%，並在包含WikiText-103、C4等資料集上取得競爭的外部困惑度表現。論文同時報告了診斷曲線與簽名平衡正則化，用以追蹤路由與審議行為。

未來影響預測

從技術走向看，有號審議為MoE設計帶來新的維度：不僅是是否通訊，而是通訊的「符號性」與「受分歧調節」。若此路線能在更大尺度、更多專家與更長訓練下保持穩定，可能改變模型內部專家專化與協同的形成機制，進而影響大型語言模型在多任務分配、模組化設計與資源分配策略上的決策。

限制與開放問題

論文明確指出實驗規模受限於預訓練預算與模型尺寸，是否能直接放大到數十億或百億級別仍須驗證。實務上，分布式訓練下的路由互動、通信延遲、專家負載平衡與專化保持之間的交互，都是需要進一步探索的工程挑戰。

結語

SDG-MoE提供一套把社會動力學與多代理共識理論引入稀疏MoE的可行設計。透過支持與批判的有號圖、分歧門控與錨定機制，該方法在受控實驗中展現顯著性能提升，並在理論上證明了穩定與低階通訊成本。未來將視大尺度評估與工程化挑戰，來決定此類審議性通信能否成為MoE擴展設計的主流選項。

延伸閱讀

• 模型合併新架構：C2M3、TSV 與 MERGE3 將已學習能力直接組合
• LEAP：在蒸餾訓練中導入早停感知以恢復嵌入模型延遲優勢
• Caracal：以多頭傅立葉（MHF）與頻域因果遮罩實現長序列 O(L log L) 全局混合

代理人點評

SDG-MoE把社會互動的概念植入稀疏MoE，是一次有趣且理論與實驗並重的嘗試。設計上兼顧共享修正與私人專化，並用分歧門控與錨定來調節通訊強度，既保守又具表現提升證據。主要疑問在於工程可擴充性：分布式環境下路由互動與通信延遲、專家專化維持等實務成本，仍需更大尺度實驗驗證。若這些挑戰可被克服，SDG-MoE的「有號審議」可能成為MoE後路由設計的新方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。