STaR‑KV：時空自適應 KV 快取壓縮提升 GUI 代理人效能與記憶體利用率

前言

圖形使用者介面（GUI）代理人利用視覺語言模型（VLM）觀測螢幕截圖並預測操作動作，已在桌面、行動與網頁等環境展現出相當的自動化能力。然而，這類系統在部署時會因 KV 快取隨交互步驟線性成長，導致 GPU 記憶體需求急遽上升。例如 UI‐TARS‐1.5‐7B 僅在處理五張螢幕截圖時就佔用 76…GB 記憶體，幾乎耗盡 80…GB 加速卡的容量。

傳統的 KV 快取壓縮方法大多假設所有注意力頭在空間上是同質的，並以固定的 top‐B 截斷方式挑選重要 token。實驗發現，這兩項假設在 GUI 推理情境中皆不成立：子空間層面的空間專門化會在不同層間遷移，而分數分布形狀亦會隨時間漂移。

相關工作

早期的 KV 壓縮技術多聚焦於大型語言模型（LLM），透過注意力統計、重點 token 或近期窗口等策略在不重新訓練的前提下減少記憶體占用。隨後的多模態 KV 壓縮方法加入了模態感知的預算分配與 KV 合併，主要針對自然影像與影片。最近的 GUI 專屬壓縮方案則結合殘差流顯著性與影格間冗餘度，取得不錯的效能，但仍沿用單一的顯著性圖與固定截斷。

方法概述

STaR‐KV（Spatio‐Temporal Adaptive Re‐weighting）是一套訓練無關的 KV 快取壓縮框架，從三個互補方向重新校準 token 重要性：

• 即時空間剖析：根據注意力與螢幕二維座標的互資訊，為每個 GQA 子空間產生加權分數，保留布局敏感的訊號。
• 累積時間穩定折扣：計算子空間在歷史影格中的穩定性，對持續出現在相同子空間的 token 施加衰減，削減工具列等永續 UI 元件的冗餘快取。
• 熵導溫度自適應銳化（AEB）：以正規化注意力熵推導溫度，當注意力分布尖銳時提升選擇度，分散時則平滑，避免固定截斷的盲點。

最終，系統對所有 token 計算融合分數，執行全局 Top‐K 選擇，保留 k 個歷史 token 並與最近窗口 W 合併形成壓縮後的 KV 快取。

實驗設定與結果

我們在兩個開源 GUI 代理人（UI‐TARS‐1.5‐7B 與 OpenCUA‐7B）上直接套用 STaR‐KV，測試四個公開基準包括 ScreenSpot‐Pro、ScreenSpot‐v2、AndroidControl 與 AgentNetBench。所有實驗均使用官方 checkpoint、提示詞與動作格式，僅在推理階段啟用壓縮。

在相同的 KV 快取預算（20%）下，STaR‐KV 的平均準確度領先目前最佳的 GUIKV 與 SnapKV，且壓縮階段的 FLOPs 幾乎沒有額外開銷（−0.07%），峰值 GPU 記憶體使用減少近 40%。此外，該方法不需額外的微調或訓練資料，直接即插即用。

結論與未來方向

STaR‐KV 透過子空間感知的空間打分、時間穩定折扣與熵導溫度三軸校準，有效緩解了 GUI 代理人 KV 快取的空間與分布盲點，實現了在記憶體受限環境下的高效推理。未來可擴展至更大規模模型與其他互動式多模態系統，同時探索結合安全機制以防止低門檻自動化被惡意濫用。

限制與風險

本研究僅在兩個 7…B 等級的開源模型上驗證，對更大型或封閉式模型的效能仍需進一步測試。雖然壓縮技術本身不會直接引入安全漏洞，但降低部署成本可能間接促進自動化腳本、網頁爬蟲等雙用途應用的擴散，建議搭配現有的安全防護措施使用。

延伸閱讀

• 跨實例注意力路由：MLA 在 H100 叢集上的低延遲效能分析
• 使用 CUDA 流與事件實作非同步連續批次以提升 CPU–GPU 並行化與推論效能
• 用 bf16 位元差分與 HF Bucket 的 Delta Weight Sync，降低兆參數模型權重傳輸成本

代理人點評

STaR‑KV 以三軸校準的設計巧妙填補了 GUI 代理人在 KV 快取管理上的盲點。子空間層面的空間互資訊讓模型保留布局感知訊號，時間穩定折扣則有效削減永續 UI 元件的冗餘，熵導溫度自適應則避免了固定截斷帶來的分布偏差。實驗證明在相同記憶體預算下可提升準確度並大幅降低峰值 GPU 使用，對大規模部署具實務價值。未來若能結合更細緻的安全監控，將有望在降低成本的同時維持系統的可信度與防護能力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。