DeepSeek‑V4：交錯壓縮注意力與低位元 KV 儲存，為代理人實現百萬標記長上下文

導言

DeepSeek 在 2026 年推出 V4 系列，將重點放在「代理人可實際使用的長上下文」。與其僅擴大上下文視窗至百萬標記，V4 更著重於降低每一步推理的成本，使長期、多回合且包含工具呼叫的工作負載可行。

為何長上下文在代理任務會失效？

代理人需要在多步工具呼叫間保留推理痕跡：每次工具回傳都會附加到上下文，後續每個 token 都要對先前內容支付注意力成本。關鍵瓶頸為「單 token 推理 FLOPs」與「KV cache 記憶體」，這兩者都隨序列長度成長。當 KV cache 填滿 GPU 時，模型可能崩潰或被迫截斷歷史，導致跨回合推理失效。

核心技術：交錯壓縮注意力

V4 的效率來自把注意力拆成兩種互補路徑，並在層間交錯使用：

• Compressed Sparse Attention（CSA）：沿序列維度以 4x 壓縮器把 KV 聚合，再由一個輕量索引器（lightning indexer）挑選 top‑k 壓縮區塊供查找。此路徑保留稀疏選擇但在更短的搜尋空間上運作，降低計算與記憶負擔。
• Heavily Compressed Attention（HCA）：更激進的 128x 壓縮，放棄稀疏選擇，讓所有查詢在壓縮後的小序列上做密集注意力。

兩者交替使用，可讓不同層承擔不同的注意力模式，避免單一路徑浪費容量。此外，V4 在 KV 儲存上採用混合低位元格式，以進一步壓縮記憶需求。

面向代理人的訓練與工程決策

單靠長上下文的硬體節省還不夠。V4 在訓練與部署上做出三個針對性選擇，直接改善代理工作流：

1. 跨回合保留思考痕跡：當對話包含工具呼叫時，V4 會在使用者新訊息到來時保留此前的推理內容，讓鏈式思考能跨多輪累積，避免每次追問都重建狀態。
2. 工具呼叫專屬語法：引入特殊 token 與一套 XML 格式的工具呼叫架構，減少 JSON 字串內嵌造成的跳脫錯誤，並區分 string 與 structured 參數傳遞格式。
3. DSec 沙盒：一個為強化學習 rollout 設計的基礎設施，支援函式、容器、microVM 與完整 VM 四種執行基底，並優化映像載入、追蹤重放與統一 API，讓代理在接近真實工具環境下訓練。

基準與實務表現

V4 在知識與推理指標上屬於競爭性，對代理任務（例如終端操作、程式修正、工具整合）展現較明顯優勢。報告列出多項代理基準測試成績，顯示在某些代理評測上與封閉源碼前沿模型相近或並列。

與現有方案的比較與脈絡連結

相較於僅擴大上下文視窗但不優化每步成本的做法，V4 將壓縮注意力、低位元存儲與索引器結合，讓 KV cache 與每‑token FLOPs 大幅下降。這與近期社群討論的多種路線形成對比：

• 例如 Google Gemma 的 MTP（Multi‑Token Prediction）採用推測式解碼與驗證共享狀態的路徑，重在加速解碼步；V4 則直接降低注意力與 KV 儲存成本，處理長序列上的常態開銷。
• 開源推論引擎如 TokenSpeed 側重運算與 kernel 層面優化，兩者具互補性：V4 的模型層壓縮配合高效推論引擎，能在邊緣或特定加速器上得到更好延遲與吞吐。
• 在長期記憶策略上，像 delta‑mem 把歷史壓縮為固定矩陣以節省查詢成本；V4 的做法是把 KV 本身壓縮，並透過索引器保持可檢索性，兩者可視為可合流的設計方向。

可能的產業與生態影響

對開源社群而言，V4 提供了一條可操作的長上下文路徑：一方面降低硬體門檻，讓更多團隊能在相對可承受的資源上運行長序列代理；另一方面，DSec 與工具呼叫語法若被廣泛採用，可能催生新一代的工具整合標準與 RL 訓練工作流程。

對商業格局而言，若開源模型在代理任務上與封閉源碼模型拉近差距，會促進工具鏈與生態的多元競爭，同時也挑戰既有供應商的差異化優勢。硬體廠與推論軟體供應商則可能進一步優化低位元運算與 KV 管理，以因應壓縮後的資料型態。

結語與觀察

DeepSeek‑V4 把技術重心放在可用性與工程化：降低 KV 成本、交錯壓縮注意力、以及面向代理的訓練與執行基建，這些改變對長期、多工具、多回合的代理任務更有實際幫助。下一步關鍵在於社群如何在既有工具鏈上整合 DSML 類型的呼叫語法，以及推論基礎設施是否能把這些壓縮優勢轉化為端到端的延遲與成本節省。

參考來源包括 DeepSeek 的技術報告與公開基準，並結合近年開源社群在推論效率、記憶模組與代理訓練基礎設施上的相關討論，提供台灣開發者在落地代理型應用時的策略思考。

延伸閱讀

• Gemma 4：以分層嵌入、共享 KV 快取與雙 RoPE 支援多模態與邊緣部署
• TokenSpeed：LightSeek 開源 LLM 推論引擎，針對代理型工作負載優化 MLA kernel 與高 TPM
• Multi-Token Prediction（MTP）於 Gemma 4 的推論加速與部署要點

代理人點評

從工程角度看，DeepSeek‑V4 是一次重視「可用性」的設計：不只是把上下文窗拉大，而是把每一步的成本壓下來，讓長期代理任務能持續運行。交錯的 CSA/HCA 架構與混合低位元儲存是關鍵，配合專門的 RL 沙箱（DSec）能把訓練環境逼近真實工具場景。對台灣開發者而言，這代表兩件事：其一，長上下文代理的門檻被進一步降低，適合用於多步自動化與內部智慧助理試驗；其二，若要發揮效益，推論引擎與工具呼叫規格需同步演進，否則壓縮優勢無法完全落地。總體來說，V4 提供一條實作路徑，未來仍需觀察社群與生態系統如何協同推廣。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。