StickyMoE

深度分析

StickyMoE：透過路由一致性訓練提升 MoE 模型記憶體效能

MoE模型在邊緣裝置上因頻繁切換專家導致記憶體瓶頸。研究提出StickyMoE透過路由一致性損失減少切換，最高降低59%切換率並提升困惑度，同時將快取未命中下降至3.92倍。此方法僅加一個λ超參數，無需改變模型結構，可與現有快取機制結合，提升邊緣部署效能。