深度分析 Transformer 中的 Mixture of Experts:稀疏化提升效能與可擴展性 隨著大型語言模型持續擴張,密集架構面臨成本與效能瓶頸。Mixture of Experts 以多個可學習子網路取代部分前饋層,透過路由器選擇少量專家處理每個 token,實現參數規模與推論速度分離。Hugging Face 重新設計權重載入與專家後端,使 MoE 在 Transformers 中成為一等公民,顯著縮短載入時間並提升訓練效率,預示未來 AI 開發將更倚賴稀疏化技術。