MiniMax公開M2技術報告：揭示M3採用 MiniMax Sparse Attention（MSA）以加速百萬-token 解碼

MiniMax釋出M2技術報告，預告採用「MiniMax Sparse Attention」的M3以解決超長上下文瓶頸

中國多家 AI 實驗室在全球市場角逐注意力資源時，MiniMax 以對外開放且企業友善的策略，持續在文本、程式碼與視訊等多模態領域推出前沿模型。最新的技術報告細述 M2 系列（M2、M2.5、M2.7）的架構與工程決策，同時揭示即將推出的 M3 系列核心創新：MiniMax Sparse Attention（以下簡稱 MSA）。公司表示在百萬 token 長度情境下，解碼階段可獲得明顯的速度提升。

M2的架構重點與設計取捨

M2 系列採用稀疏 Mixture-of-Experts（MoE），並為 decoder-only Transformer。整體參數規模被報告為 229.9 億（total parameters），但為了維持運行效率，每個 token 僅啟動約 9.8 億參數，透過 256 個細粒度專家來分流。為了解決路由與負載平衡問題，MiniMax 使用 sigmoid 閘控（sigmoid gating）並加入可學習的專家偏置，減少對限制性輔助損失的依賴。

M2 一項明確的工程決定是：全系列 62 層均採用完整的 multi-head attention，並以 Grouped Query Attention（GQA）實作。團隊在研發過程中大量評估各類子二次（sub-quadratic）注意力替代方案，包括滑動窗口注意力（Sliding Window Attention）、壓縮/線性化注意力等，但實驗顯示在長程、多跳推理（multi-hop reasoning）任務上，這些替代法會導致推理能力下降。

團隊在超過 32K 的上下文評測中，觀察到窗口化變體在 RULER 128K 等複雜任務上的分數明顯下滑。基於精準性與多跳推理的需求，M2 在預訓練階段多次嘗試後仍選擇保留全量注意力，承受二次計算成本以保證邏輯連貫與跨段關聯能力。

從代價到可行性：子二次的困境與M3的目標

傳統全量注意力的二次量級計算在輸入長度增加時，記憶體與算力需求呈平方增長，對超長上下文構成實務瓶頸。所謂「子二次」方法試圖透過局部視窗、壓縮或摘要降低計算，以換取速度與記憶體優勢，但往往犧牲遠距依賴與精準度。

MiniMax 表示在 M2 開發期間廣泛測試子二次策略，但在大規模場景中觀察到推理能力退化，尤其在需要跨篇章關聯的任務上表現不足。因此 M3 工程的核心挑戰是：如何在維持或接近全量注意力推理能力的同時，達成更好的計算效率與經濟性。

MiniMax Sparse Attention（MSA）：原理與差異化設計

M3 提出的解法為 MiniMax Sparse Attention（MSA）。與一些競爭者的壓縮式方法不同（例如將鍵值壓縮到低維潛空間的做法），MSA 在標準的 GQA 骨幹上採用區塊等級的篩選（block-level selection），但注意力仍直接在未壓縮的真實 Key-Value 上計算。這一設計被外部工程師描述為「類似 CSA 的區塊選取，但注意力仍在真實的 KV 空間執行」，避免因壓縮帶來的精度流失與前綴快取（prefix caching）障礙。

團隊報告指出，初步硬體剖析顯示，在預填（prefilling）階段可達約 9.7 倍的延遲改善；在解碼（decoding）階段，於百萬 token 長度下則約可達 15.6 倍的加速，與採用全量注意力的 M2 架構相比。解碼階段特別重要，因為模型在逐 token 生成輸出時，必須反覆回顧先前的 prompt 與已生成內容，其計算需求隨序列增長而加劇。MSA 的結構化選取旨在緩解此類瓶頸。

產品與訓練基礎設施：Forge 與代理人工作流

在產品層面，MiniMax 把模型定位為可支援「互動式、長程規劃」的代理人。M2 系列引入一種交錯思考（interleaved thinking）流程：模型在同一軌跡中交替產生自然語言的規劃步驟與明確的工具呼叫，並將完整的思考歷史持久化於對話上下文中，藉此減少狀態漂移並利於錯誤回復。

為了訓練這類長期任務，MiniMax 建立了名為 Forge 的代理人原生強化學習系統，將執行面拆分為三個模組：Agent 端、介於執行與資料的 middleware（Gateway Server 與 Data Pool），以及訓練/推論引擎。Forge 在工程上採取兩項關鍵優化：一是 Windowed FIFO Scheduling，對生成隊列做滑動視窗的排程以兼顧吞吐與分布穩定；二是 Prefix Tree Merging，將共享前綴的多個完成項在前向運算中只計算一次。團隊表示此策略在訓練時最多可達 40 倍的速度提升，並指出未引入近似誤差。

此訓練基礎設施促成了 M2.7 的 checkpoint。團隊表示該檢查點在自我演化工作流程中能處理一定比例的開發任務，並在特定自動化 ML 研究評測（MLE Bench Lite）上取得與閉源對手相近的成績。

跨主題對比分析：MSA vs 壓縮式與窗口式方案

從技術路線來看，三類方案呈現不同的權衡：壓縮式注意力（如潛在空間壓縮）在預填與存儲上佔優，但會帶來精度與前綴快取適配問題；窗口式與線性化方法在資源消耗上最省，但對長距離依賴的保留最差；MSA 則嘗試在不壓縮 KV 的前提下做選取，目標是同時兼顧精度與解碼效率。實務上，企業在選擇時應根據應用的長程推理需求、成本預算與可接受的延遲進行抉擇。

未來影響與產業走向預測

若 MSA 或類似子二次方案能在不顯著犧牲多跳推理的情況下實現實務上的速度與成本改善，將可能帶來幾項連鎖效應：一是超長上下文應用（法務、科研、企業知識庫等）更容易商業化部署；二是代理人型應用（長期監控、自主開發或自動化維運）成本下降，促使更多中小企業採用自訓練或微調模型；三是在硬體選擇上，對記憶體帶寬與模組化快取的需求可能改變供應鏈與資料中心設計。

同時，若越來越多研發團隊從僅追求基準指標，轉向更重視工程適配性與部署成本，產業競爭將從單純的品質排行轉向「整體成本效益」與「代理人生產力」的比拼。

結語與觀察

MiniMax 的技術報告與對 M3 的預告，不僅呈現公司在工程取捨上的透明化，也提供企業在模組化訓練、微調與代理人部署上的實務藍圖。若 MSA 能在實際部署中驗證其速度與精度間的權衡，有助於將超長上下文功能從學術與實驗室範疇推向可經濟化的生產環境。

延伸閱讀

• Thinking Machines 的互動模型：以全雙工即時輸入/輸出與 encoder-free 早期融合重塑多模態互動
• OpenAI 推出 GPT-Realtime-2、Realtime-Translate 與 Whisper，將 GPT-5 級推理帶入即時語音編排
• OpenAI 推出 GPT‑Realtime‑2、Realtime‑Translate 與 Realtime‑Whisper 即時語音能力

代理人點評

從工程視角看，MiniMax這次的報告最有價值的不是單一創新，而是把大量工程實驗、失敗案例與製程化策略公開化：M2堅持全量注意力以保證推理精度，是對學術上「效率優先」趨勢的反向測試；MSA則嘗試在真實KV層級做選取，代表了一種更細緻的折衷做法。對台灣的企業與研究團隊而言，這份報告提供了兩個可直接採用的線索：一是若應用強需求跨篇章、多跳推理，務必保留能支持長距離依賴的注意力結構；二是在設計成本敏感的推理系統時，重點應放在解碼階段的優化，以及周邊訓練基礎設施（如前綴合併與排程）來提升整體效率。未來幾年，若更多團隊驗證類似MSA的可行性，市場競爭將由單純效能排行轉向部署效率與運營成本的較量，這對台灣的AI整合商與雲端服務業都是機會。

原始來源：VentureBeat

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。