深度分析
MoBiE：針對 MoE‑LLM 後訓練量化的二元化高效推論框架
MoE 大型語言模型效能佳但資源消耗高。MoBiE 透過聯合 SVD、全局梯度融合 Hessian 與零空間誤差約束，解決跨專家冗餘與路由偏移問題。實驗顯示在 Qwen3‑30B‑A3B 上 perplexity 降 52.2%，零樣本表現升 43.4%，推論速度提升逾 2 倍。
深度分析
MoE 大型語言模型效能佳但資源消耗高。MoBiE 透過聯合 SVD、全局梯度融合 Hessian 與零空間誤差約束，解決跨專家冗餘與路由偏移問題。實驗顯示在 Qwen3‑30B‑A3B 上 perplexity 降 52.2%，零樣本表現升 43.4%，推論速度提升逾 2 倍。
深度分析
後訓練量化是降低深度模型資源需求的關鍵技術。研究提出 OPTQ 與 Qronos 的誤差上界，說明迭代量化過程與正則化參數的影響，並證實特徵排序與參數選取的合理性，為實務應用提供理論依據。