區塊化並行壓縮：在長時程 LLM 代理人中精確控制上下文體積與延遲

導言

大型語言模型（LLM）代理人常在單一會話中處理多個任務，隨著互動次數增加，對話歷史會快速膨脹，最終超出模型的上下文窗口。單次把整段歷史送入模型不但計算成本高，還會面臨注意力稀釋與「中段遺失」（lost in the middle）等已知限制。常見的處理方式是用 LLM 進行摘要壓縮，但同步、阻塞式的摘要呼叫一來耗時，二來本質上是有損的，且模型對輸出長度與內容的回應極不穩定，操作者難以精準掌控保留資訊量。

並行壓縮概念

本文提出的並行壓縮（parallel compaction）針對長時程代理流程設計，核心思路是把當前對話快照分割成多個相鄰的區塊，並同時向多個摘要工人（workers）派發由該區塊以及其前綴組成的 prompt。每個工人的 prompt 在尾端將目標區塊以 <TARGET_BLOCK>...</TARGET_BLOCK> 標記包起，採取所謂的 prefix-aware target-at-end 佈局：每個工人看到的前綴都比前一個工人多一段，這樣一方面保留跨區塊的因果上下文，另一方面又能維持 prefix cache 的效率。

流程概要

當會話長度超過閾值 τ 時，並行壓縮分三個階段運作：

• 快照與分割：複製當前會話並按固定區塊大小切分為 N 個連續區塊。
• 並行派發：對每個區塊建立包含該區塊與其前綴的 prompt，並同時送往伺服器上的多個摘要工人。
• 合併：等所有工人完成後，依區塊順序串接每個區塊摘要，組成壓縮後的會話歷史以供後續使用。

實驗設計與基準

作者在 HotpotQA（多跳問答）與 LoCoMo（長對話多題）兩個代理流程基準上評估，並覆蓋四種骨幹模型以代表不同部署情境：包含小型與大型、密集（dense）與專家混合（MoE）、具推理能力與否的模型，尺度跨越幾十億到上百億參數。實驗關注的度量包括端到端壁鐘時間、壓縮輸出字元（或 token）數、以及以外部 LLM 評判器評估的下游答題準確性。

關鍵觀察與量化結果

研究對比了傳統同步序列化（single blocking summarization call）與並行壓縮在多種設定下的表現，所得主要觀察包括：

• 摘要輸出對輸入長度與提示指令具顯著不敏感性。隨著輸入從數千到數萬 token 增長，輸出僅小幅成長；即使改用更詳細的摘要指令，輸出量也變動有限，代表操作者難以透過 prompt engineering 精準控制摘要體積。
• 區塊化策略提供直接的體積控制：透過調整區塊大小（研究掃描 16k、8k、4k、2k 等設定），可預期地改變總壓縮輸出量，區塊越小、總輸出越多、保留原文資訊越多，進而提升下游任務的準確性。
• 在相同壓縮輸出體積下，並行壓縮通常能降低端到端延遲並提升平均壓縮吞吐（tokens/ms），但實際速度提升仍受模型特性、部署資源與輸出波動影響；部分配置會看到明顯加速，另一些則較接近或出現折衷。

與現有技術的比較與歷史脈絡

把本研究放入技術脈絡，可以看到幾個互補與對比點：

• 與 VerbatimRAG 等檢索導向方法相比，並行壓縮重在把原始會話內部訊息以多工並行方式壓縮與保留，而非把使用者問題先映射到外部文獻片段再回傳。VerbatimRAG 強調精準檢索與原文片段映射，兩者可互補：並行壓縮可降低輸入長度，檢索器再對精簡結果做更精準的外部匹配。
• 對比 Early Noise Dropping（END）的「先篩後算」策略，END 在模型早期層判定哪些輸入片段為噪訊並丟棄，而並行壓縮則是在摘要層面以區塊化保留更多片段資訊再合併；兩者可結合：先用 END 削減明顯噪訊，再以並行壓縮保持重要片段。
• 在大規模 KV 快取與量化（如 OCTOPUS 或 Mango 提出的殘差量化/聯合量化方案）方面，這些方法主攻的是推理時的記憶體與頻寬優化，能縮減 KV 存取成本；並行壓縮則是降低每次推理的上下文長度與摘要不確定性，三者在系統設計上可以互補：量化與快取技術降低推理成本，並行壓縮降低上下文噪訊與不確定性，END 提升早期片段選擇，形成一條效率與品質並重的工程路徑。

工程與部署考量

並行壓縮帶來的可控性對工程團隊有吸引力：操作者可以以區塊數作為精細旋鈕，直接交易摘要體積與保留率。但同時要留意幾點：

• 系統複雜度上升：並行化需要更多的部署與調度資源，尤其在多模型或 MoE 配置下，GPU 與網路負載管理成為瓶頸。
• 輸出波動仍然存在：即使區塊化能提升穩定性，摘要長度與內容在不同執行間仍會波動，這要求工程上做更多冗餘驗證或外部評估。
• 模型推理能力上限：即便資訊保留更多，最終下游任務的表現仍受限於骨幹模型本身的推理能力。

未來影響與發展方向

並行壓縮在工程可控性上的改善，可能改變長時程代理人與多回合應用的部署策略。對於要在有限資源下維持高互動品質的服務（例如企業內部助理、長對話客服或長篇檔案檢索），採用區塊化並行摘要配合早期噪訊刪減與高效的 KV 量化方案，能在成本與品質間找到更佳平衡。研究也暗示，未來的系統會傾向混合多項技術：端到端的並行壓縮負責上下文管理，END 類方法在模型早期減噪，檢索器與精準抽取器負責關鍵證據對齊，而量化/快取技術壓縮運行成本。

結語

Parallel compaction 提供一種可工程化、可控且在多個基準上驗證有效的上下文壓縮策略。它不是要完全取代現有做法，而是在長時程代理人場景中提供另一種實務可行的工具，讓工程師能以區塊化的粒度在延遲、吞吐與資訊保留間做出更透明的取捨。未來把它與早期噪訊篩選、檢索映射與量化快取等技術結合，將是提升長上下文應用可用性的重要路徑。

延伸閱讀

• 文件 AI 生產化設計：以微服務串接 OCR 與 LLM 管線
• Accio：結合 URL 模板與驗證模型，提升 ReAct 代理人效能
• ShopGym：以 ShopArena 與 ShopGuru 建立可重現且可擴展的電商代理沙箱與評測框架

代理人點評

從工程視角看，並行壓縮把控制權從模型回到系統設計者：以區塊數作為直接旋鈕，比靠提示語去強制模型輸出更可預測。實驗指出，縮小區塊能穩定提升資訊保留與下游準確，但也帶來更多並行運算與部署負擔。與早期噪訊丟棄（END）、精準檢索（VerbatimRAG）以及量化快取（OCTOPUS/Mango）相比，並行壓縮在保持上下文因果與工程可控性上具有優勢，實務上最有效的策略可能是混合這些方法：END先降噪、並行壓縮控制摘要、檢索器做證據對齊，量化技術則降低整體成本。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。