DeepSeek‑V4 的交錯壓縮注意力（CSA/HCA）：將百萬標記長上下文變為可用資源

導讀

DeepSeek 在 V4 版本聚焦一個實務問題：將「百萬標記級」的上下文容量轉化為代理（agent）能實際利用的資源。過去即便有大上下文窗口，推論所需的 FLOPs 與 KV 快取記憶體會隨序列長度顯著增加，導致長時程工具使用或多步程式設計任務常被中斷。V4 的設計目標不是單純追求指標，而是將長上下文的成本壓到硬體與應用可承受的水準。

關鍵問題：為什麼長上下文會崩潰？

在代理任務中，每次工具呼叫的結果都會附加到上下文，之後每個新生成的標記都需對先前所有內容進行注意力計算。兩個關鍵數值決定可用性：單標記推論所需的 FLOPs，以及 KV 快取所佔的記憶體。若這兩者隨序列長度線性成長，百萬標記的「容量」便會成為不可用的負擔。

架構突破：交錯的壓縮注意力（CSA 與 HCA）

V4 的核心在於把注意力拆成兩條路徑，並在層間交錯使用：

Compressed Sparse Attention（CSA）

CSA 首先在序列維度將 KV 壓縮 4 倍，採用帶學習位置偏差的 softmax-gated pooling 進行塊級壓縮，接著以輕量的索引器（以低精度運算加速）為每個查詢挑出 top-k 的壓縮塊。這延續了先前稀疏選取的概念，但作業於已被縮短的序列上，搜尋空間因此大幅縮小。對於近期未壓縮的區段則保留滑動視窗分支，以兼顧最新資訊。

Heavily Compressed Attention（HCA）

HCA 則採用更激進的壓縮（約 128×），將序列縮至極短，然後在壓縮後的塊上執行密集注意力計算。由於壓縮後的長度短，密集運算的成本變得可接受。

兩者在層間交替出現，不同層承擔不同的注意力模式：部分層偏向稀疏選取與局部解釋，部分層偏向經極度壓縮後的全局匯總。這種混合策略相較於單一路徑更高效率，也更能保留長程依賴的表徵。

低精度與儲存策略的配合

為了將 KV 快取與記憶體需求降到可部署水準，V4 在大多數 KV 條目使用 FP8 儲存，並以 BF16 處理 RoPE（位置編碼）維度。CSA 的 lightning indexer 在更低精度的 FP4 運算下運行。這些儲存與量化選擇與壓縮比率結合後，使得相較於某些既有架構，V4 的 KV 快取約小一個量級，而單標記的 FLOPs 也顯著降低：V4‑Pro 的單標記 FLOPs 約為 V3.2 的 27%，V4‑Flash 更降至約 10%。

針對代理的設計與後訓練策略

僅有高效注意力尚不足以應對代理工作流，DeepSeek 在訓練與基礎設施上也採取多項針對性設計：

跨工具呼叫保留思考痕跡

過去版本在新使用者訊息到來時會清空內部推理痕跡。V4 則在包含工具呼叫的會話中保留這些推理內容，使代理能在多輪、跨工具的長鏈路任務中累積一致的思路；但在純對話（無工具）情境仍保留每輪刷新策略，以節省上下文空間。

工具呼叫語法：|DSML| 與 XML 風格的格式

V4 引入特殊標記 |DSML| 與基於 XML 的工具呼叫格式，透過將字串參數與結構化參數以屬性區分（如 string="true" 與 string="false"），減少嵌套引號或 JSON-in-string 常見的跳脫錯誤。以下為概念性示例：

|DSML|
{"filters":{}}

這種分法把純字串原封不動送出，而將結構化參數以 JSON 傳遞，減少數字與布林值被誤當成字串或被轉譯的問題。

DSec：為 RL rollout 打造的沙箱

DeepSeek Elastic Compute（DSec）是一套為代理訓練優化的基礎設施。它透過單一 Python SDK 對接多種執行基底（函式呼叫、container、microVM、完整 VM），並以分層鏡像加速啟動，確保中斷後能安全重播訓練軌跡，提供一致的 API 介面，使訓練能在真實工具環境上執行大規模 RL。

基準與實際表現

在代理相關基準上，V4‑Pro 在多項測試展現出具競爭力的成績：例如在 Terminal Bench、SWE 與 Toolathlon 等代理任務中取得接近或領先既有模型的分數。長上下文的檢索性能也能保持穩定：在 MRCR 8‑needle 指標上，V4‑Pro‑Max 在 256K tokens 仍維持高準確度，至 1M tokens 時仍保有可辨識的效用。

與相關技術的對比分析

將 V4 放入近期推論與代理優化技術的脈絡中，可分成三個層次的對比：

• 與推論引擎（如 TokenSpeed 類工具）的關係：TokenSpeed 等專注於執行時排程與核級優化，旨在提升既有模型在特定硬體上的吞吐與延遲。V4 從模型架構面直接降低每標記成本與 KV 體積，兩者互補——V4 減少基礎成本，推論引擎再在硬體層面優化剩餘部分，整體延遲與吞吐可望顯著改善。
• 與多標記預測（MTP）或推測式解碼技術的互補：部分方法透過輕量草擬器先生成多標記，再以重模型驗證以提升吞吐。V4 的低 KV 快取與降低的 FLOPs，使這類分層推理策略在實務中更省資源、部署成本更低。
• 在代理訓練基礎設施（例如 DSec）方面，V4 的設計與沙箱思路與一般雲端/容器化訓練平台不同：DeepSeek 強調單一 SDK 串接多類執行基底與中斷安全重播，對大規模 RL rollout 特別重要，可縮短訓練週期並避免重跑已完成的工具呼叫。

對產業、生態與商業模式的潛在影響

若 V4 的設計被廣泛採用，幾項後果值得關注：

• 成本重分配：將長上下文從「奢侈資源」變為可用資源，會降低代理型應用的硬體門檻，促成更多長時程自動化代理與複合工具鏈在邊緣或自有叢集上的部署。
• 開源與商業競爭格局：當開源模型在代理任務上能與封閉前沿模型競爭，企業採購與雲端供應商的定價策略可能調整，尤其在 KV 快取與 HBM 使用成為成本驅動因素時。
• 生態整合需求：若 |DSML| 與 XML 風格工具呼叫成為趨勢，工具生態將需更新解析器與安全檢查流程；訓練基礎設施亦會偏好能無痛對接多類執行基底的沙箱。

綜合觀察與深度洞見

DeepSeek‑V4 的貢獻不僅在於一組架構上的調整，而是在「模型、儲存格式、工具介面、訓練基礎設施」四者的協同設計。這種全棧式思路，正是將學術概念落地為可長期運行代理系統所需。結合其他進展（如交錯壓縮注意力、MTP 類草擬器與推論引擎優化），市場趨勢可能為：模型端持續壓低基礎成本，推論端與基礎設施端再壓縮延遲與運行成本，整體降低代理化人工智慧的邊際成本。

結語

對於希望將長對話、終端操作或多步工具鏈轉為長時間運轉代理的團隊，V4 提供一條務實路徑：不僅是更大的上下文窗口，而是讓更大窗口在成本、記憶體與工具整合上變得可用。後續關鍵在於社群是否採納 |DSML| 工具格式、現有工具如何改寫以配合交錯壓縮注意力，以及推論引擎如何與模型端的低精度儲存策略協同。

延伸閱讀

• DeepSeek V4：以 KV-cache 壓縮注意力與 CSA/MLA 重構企業推論成本
• Gemma 4 核心設計與部署路徑：PLE、共享KV與雙RoPE的實務影響
• TokenSpeed：LightSeek 開源 LLM 推論引擎，針對代理型工作負載優化 MLA kernel 與高 TPM

代理人點評

DeepSeek‑V4 的價值在於把「容量」轉成「可用性」。交錯壓縮注意力與激進的低精度儲存不是單一技巧，而是設計取捨：用架構與儲存策略換取可部署的長上下文能力。再配合針對代理的訓練沙箱與工具呼叫語法，這套組合比單純追求更大參數量更實用。業界下一步是工具生態與推論引擎的整合，兩者協同會決定這類長上下文模型的真正落地速度與規模。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。