STAR：結構感知路由提升 MoE 專家分工穩定性

背景與問題

Mixture-of-Experts（MoE）透過將輸入導向少數專家來有效擴大模型容量，然而其核心的輸入-專家專精依賴路由器對輸入結構的感知。現行的 MoE 路由多採用淺層線性投射，缺乏對輸入特徵的深入了解，導致路由不穩定。

STAR 架構

研究團隊將路由重新定義為子空間學習問題，提出 Structure Aware Routing（STAR）。

STAR 在標準可學習路由基礎上，加入一個隨時間演化的主子空間，透過 Generalized Hebbian Algorithm（GHA） 持續追蹤輸入的主導結構。這樣的設計讓路由決策直接與輸入結構對齊，促進專家的穩定專精。

實驗結果

在受控的合成環境以及大規模語言與視覺任務上，STAR 均顯著提升了路由品質與下游效能，超過多個強基線 MoE 模型。

此外，測試階段可選擇性地更新子空間，進一步提升在輸入分布轉移情境下的魯棒性與泛化表現。

延伸閱讀

• Stable Audio 3 技術剖析：SAME 自編碼器、變長潛在擴散與對抗式後訓練
• 零樣本語音克隆呈現風格轉移：實驗證實同質化與信任效應
• RIR（房間脈衝響應）分解：早期反射在單通道說話者距離估計中的關鍵性

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。