curvature-aware-scaling

深度分析

穩定化 Mixture‑of‑Experts（Same）：緩解多模態連續指令微調中的路由與專家漂移

面對多模態連續指令微調的遺忘難題，研究提出 Same，一套穩定化 Mixture‑of‑Experts 作法。藉由光譜感知路由分解任務子空間、曲率感知縮放守護專家權重，並以自適應激活凍結選中專家以降低跨任務干擾。實驗顯示在保留舊任務能力與運算效率上較現有方法更穩定，具部署價值。