活化容量

深度分析

MoE Transformer 的泛化與縮放律：活化容量與路由開銷的理論分析

研究針對 MoE Transformer 的泛化與縮放行為，提出將活化容量與路由組合分離的理論框架，推導出與活化參數預算成正比的度量熵並加入路由開銷，證明在流形資料模型下的泛化界限與密集網路等價，並給予誤差可透過提升活化容量或增專家數量降低的建構性近似結果，最後提出模型、資料與計算的神經縮放律。