稀疏混合專家

深度分析

Shodh-MoE：以稀疏混合專家路由與潛在壓縮緩解多物理負轉移

面對多物理科學訓練中常見的負轉移與梯度衝突，論文提出Shodh-MoE，一種結合物理約束潛在自編碼器與稀疏激活Transformer的架構。系統以Helmholtz式速度參數化強制流場守恆，將128^3物理場壓縮為16^3潛在token，並以Top‑1軟語義路由把局部潛片分配給專家子網路。