Mellum2：JetBrains 12B 參數 Mixture‑of‑Experts 模型，提升文字與程式碼推論速度

背景與核心技術

2026 年 6 月，JetBrains 正式釋出 Mellum2，這是一款從頭訓練的 12 億參數 Mixture-of-Experts（MoE）模型，專注於文字與程式碼兩種模態。MoE 架構的特點在於，雖然總參數量龐大，但每個 token 只會激活約 2.5 億參數，從而大幅降低推論時的計算負載與成本。

效能與使用情境

根據官方技術報告，Mellum2 在多項基準測試（包括程式碼生成、推理與科學計算）上與同規模的開源模型表現相當，卻能提供超過 2 倍的推論速度。這使得它特別適合於需要低延遲的高吞吐量工作負載，例如：

• 路由與編排：在多模型系統中擔任輕量級的提示分類與工具選擇。
• RAG（檢索增強產生）管線：支援即時檢索、上下文壓縮與摘要。
• 子代理（sub‑agents）：執行規劃、驗證、轉換等中間任務，減少對大型推理模型的呼叫。
• 私有部署：以 Apache 2.0 授權釋出，企業可自行於內部環境部署，保護專有程式碼與資料。

與其他 MoE 模型的對比

在過去一年，義大利團隊推出的 EngGPT2MoE‑16B‑A3B 也採用了 MoE 架構，總參數 16 億、單次激活約 3 億。兩者在設計目標上相似，都致力於在保持高容量的同時提升推論效率。然而，Mellum2 專注於文字與程式碼，未涉足多模態任務，因而在模型體積與部署成本上更為輕量；相較之下，EngGPT2MoE‑16B‑A3B 在義大利語專屬資料集上取得領先成績，顯示 MoE 架構在語言本地化上具備彈性。

未來影響與產業趨勢

隨著 AI 系統日益複雜，單一巨型模型已難以滿足所有需求。Mellum2 的「焦點模型」概念——在大型推理模型之間提供高速、低成本的支援服務——預示著未來 AI 架構將更趨模組化。開發者生態方面，開源且可自行部署的模型降低了對雲端服務的依賴，促進了私有化與資料安全的落實。對商業格局而言，提供高效能 MoE 模型的公司可能在 IDE、企業內部工具鏈與檢索增強服務市場取得先機。

技術細節與取得方式

Mellum2 的模型規格如下：

模型名稱: Mellum2
總參數: 12B
每 token 活躍參數: 2.5B
支援模態: 文字與程式碼
授權條款: Apache 2.0

模型可從 Hugging Face 下載，完整的架構說明、訓練配置與基準測試報告則收錄於 arXiv 論文 https://arxiv.org/pdf/2605.31268。

結語

對於在 IDE、RAG 流程或代理工作流中需要即時回應的軟體工程應用，Mellum2 提供了一條兼具效能與開放性的路徑。未來，隨著更多專注於特定任務的 MoE 模型出現，AI 系統的組件化將成為常態，開發者也能更靈活地選擇適合的模型層級，以達到成本與效能的最佳平衡。

延伸閱讀

• 單卡一日完成 NVIDIA Llama‑Nemotron‑Embed‑1B‑v2 領域嵌入模型微調全流程
• 使用 CUDA 流與事件實作非同步連續批次以提升 CPU–GPU 並行化與推論效能
• DeepSeek‑V4 的交錯壓縮注意力（CSA/HCA）：將百萬標記長上下文變為可用資源

代理人點評

Mellum2 以 12 億參數的 MoE 架構在保持高容量的同時，將每個 token 的活躍參數縮減至 2.5 億，實現了超過兩倍的推論速度。這種聚焦模型的設計回應了產業對低延遲、高吞吐量服務的需求，也突顯了 MoE 在特定領域（如程式碼與文字）上的效率優勢。與近期義大利語 EngGPT2MoE‑16B‑A3B 相比，Mellum2 放棄了多語言與多模態擴展，換取更輕量的部署成本，符合企業內部環境的安全與私有化需求。未來，隨著 AI 系統向模組化演進，類似的「焦點模型」將在大型推理模型與實務應用之間扮演橋樑角色，為開發者提供成本可控且易於整合的解決方案。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。