Cached State Representation (CSR) 與 Asynchronous State Reconciliation (ASR)：以 KV 快取實現低延遲的 LLM 機器人決策

導言

大型語言模型（LLM）正被視為通用認知引擎，用以賦予機器人常識推理與開放世界泛化能力。然而，當機器人需要把大量歷史感測、機體靜態定義與事件記錄整合成決策依據時，長期狀態會讓推理的時間到首字（TTFT）隨著上下文長度劇增，損及即時反應性。常見的折衷包括檢索增強生成（RAG）或滑動視窗，這些方法要麼破壞全域上下文一致性，要麼付出昂貴的重算成本。

核心想法：Cached State Representation（CSR）與 ASR

作者提出 Cached State Representation（CSR）作為滿足即時性需求的任務結構化方案。其核心是把活躍且頻繁變動的資訊隔離成一個「動態後綴」，其餘不常變的歷史則維持為一個「穩定前綴」。此結構同時滿足兩個必要性質：前綴穩定性（Prefix Stability），確保歷史不被任意更動以保留 KV 快取有效性；以及增量可擴展性（Incremental Extensibility），要求新資訊以 append 方式加入，避免破壞已計算快取。

為了讓這種結構在無限時間軸上持續運行而不造成記憶體溢位或延遲尖峰，論文再引入非同步狀態對齊（Asynchronous State Reconciliation，ASR）。ASR 將狀態淘汰與快取重建工作移到次要的平行運算資源，先在次要資源上預熱被淘汰狀態的 KV 快取，完成後以原子交換的方式把熱身過的快取交換成主資源使用，從而避免在主推理迴圈出現長時間阻塞。

技術細節概覽

在 Transformer 架構中，KV 快取保存著過去每個 token 的 key 與 value 向量，以便在自回歸推理時重用。問題出在機器人系統不是單次獨立推理任務，而是連續、條件式的決策序列。若把早期歷史 token 改寫或插入，則後續所有快取計算被視為失效，必須重算整段上下文。

CSR 的策略是以結構化狀態分段替代裸露的滑動窗口。系統把新感測資料作為狀態切片附加到穩定前綴之外，主推理可直接利用前綴的 KV 快取而不重算。ASR 則在主資源負責即時推理，當前綴長度超過記憶界限時，把被淘汰的部分搬到次要資源，由次要資源遞增重建其 KV 快取，達到 catch-up 後交換角色。

演算法（摘要）

Algorithm 1: Asynchronous State Reconciliation
Inputs: stream of state chunks {ΔX_t}, parameters τ_mem, N_catchup
State: X_static (active prefix), ΔX_buffer, X_ε (evicted state), r_primary (R1), r_secondary (R2), is_reconciling
Procedure Increment(ΔX_t):
 X_static ← X_static ⊕ ΔX_t
 if is_reconciling then
 ΔX_buffer ← ΔX_buffer ⊕ ΔX_t
 end
 if |X_static| ≥ τ_mem and not is_reconciling then
 X_ε ← Evict(X_static)
 launch Reconcile in parallel
 is_reconciling ← true
 end
Procedure Reconcile:
 LLM(X_ε, r_secondary) // warm up secondary
 while |ΔX_buffer| > N_catchup do
 X_ε ← X_ε ⊕ ΔX_buffer
 ΔX_buffer ← ∅
 LLM(X_ε, r_secondary)
 end
 swap(r_primary, r_secondary)
 is_reconciling ← false

實驗設計與結果要點

作者在多組模型與硬體上評估 CSR + ASR。實驗環境包含以 vLLM 服務的多 GPU 伺服器與實際機器人端測試。報告指出，在 120K token 的長上下文情境中，使用 235B 參數等級模型時，CSR 與 ASR 能把 TTFT 從 14.67 秒降到 0.56 秒，約 26 倍縮短。此外，在具身 AI 基準任務上，CSR 在召回率上達到 0.836，顯著優於比較基線 0.459，且延遲維持在相當於 RAG 的水準。

實務部署上也驗證了 ASR 能在連續運作多次淘汰循環中維持有界且無尖峰的 TTFT，並在單 GPU 與多 GPU 設定、30B–235B 等級模型上展現可擴展性。論文還展示了在實機（以 Raspberry Pi 5 作為邊緣端）透過無線連接到內部 GPU 伺服器的案例，說明在行動邊緣運算情境下的可行性。

與現有方案的比較分析

CSR 對比現有常見策略有幾個關鍵差異：

• 相較於 RAG：RAG 以外部檢索彌補長期記憶，但會造成查詢延遲與上下文片段化；CSR 保留完整歷史並以快取重用避免重算，維持上下文連貫性。
• 相較於滑動視窗與 StreamingLLM：滑動窗截斷歷史以換取速度，StreamingLLM 則以有限視窗重算 KV 快取；CSR 則以結構化分段保存長期狀態，讓快取可跨長序列重用，保留長距依賴。
• 與短期快取或分頁機制（如 MemGPT/RecurrentGPT）相比：CSR 更強調任務級的前綴不變性與原子級的快取交換，以避免在主推理迴圈出現阻塞或需要同步重算。

就系統設計而言，CSR 與 ASR 更貼近一種服務層面的資源協調策略：它把記憶淘汰與快取重建作為背景任務，並透過資源交換來隱匿耗時操作，這在低延遲線上控制場景尤為重要。

結合歷史知識脈絡的深度洞見

從過去的研究看，像 PhysicsNeMo 中採用的動力學化近似方法（例如以動力學導向的離散決策層嵌入可微分結構）與 CSR 其實在理念上有相通處：兩者都試圖把原本難以直接由網路端逐步計算的「硬」決策或長期結構，轉成可在模型內部或系統層面以更穩定的方式保存與重用。PhysicsNeMo 聚焦在可微分的離散決策近似與演化動力學，以便將結構化稀疏等問題嵌入深度學習流程；CSR 則聚焦在系統級的快取穩定性與延遲管理，為需要持續硬決策的場景（例如動態稀疏注意力或動態剪枝）提供運作時的低延遲基礎設施。

另一個歷史脈絡是時間加權的去中心化優化（temporally weighted decentralized optimization）。那類研究探討在有限的通訊與計算下，如何追蹤隨時間變動的全域目標並分析追蹤誤差構成。CSR/ASR 在工程上也面臨類似三角權衡：權重選擇（何時淘汰狀態）、同步頻率（主-次資源何時交換）與網路一致性（邊緣端到伺服器的延遲與丟包）。因此，從理論視角看，把狀態管理視為一種帶有時間折衷的分散式優化問題，有助於更嚴謹地選擇記憶閾值與重建策略，並量化主觀決策（如保留多少長期狀態）對系統追蹤誤差與延遲穩定性的影響。

對開發者生態與產業的可能影響

技術層面上，CSR 與 ASR 有望把大型模型從「昂貴且靜態的推理黑盒」轉為「可持續、高頻的認知服務」，這對機器人平台、邊緣 AI 服務與具身應用的軟體生態帶來幾項變化：

• 開發者可以在不犧牲長期記憶的一致性下，設計更長期的任務策略與回溯式追蹤邏輯，降低為了速度而做的上下文截斷成本。
• 商業上，雲端 + 邊緣的混合部署模式更可行：邊緣裝置負責感測與即時交流，雲端或本地 GPU 伺服器則以 CSR 管理長期狀態快取，降低頻寬與延遲不穩定帶來的業務風險。
• 生態系工具會出現：狀態分段管理器、快取熱身監控工具與跨資源原子交換介面，成為 MLOps 與機器人開發的必要組件。

從風險角度看，這類系統把更多系統複雜度移到資源協調與交換機制，增加測試矩陣與調校需求；此外，對於異質網路環境或不穩定連線，必須設計備援策略確保短暫失聯時的安全性與一致性。

結語與未來方向

CSR 與 ASR 提供了一條可行路徑，讓大型語言模型在具身系統中維持長期狀態同時達到即時回應。未來可進一步的研究方向包括：把狀態淘汰與預熱策略形式化為時序優化問題、探索更輕量級的快取表示以減少次要資源負載、以及將該框架與模型端的壓縮、量化或投機式解碼技術整合，以同時優化 TTFT 與持續產出速度。

延伸閱讀

• Gradient Extrapolation（GXPO）：三次反向傳播下的優化器端多步展望政策優化
• Owen‑Shapley Policy Optimization（OSPO）：以片段歸因解決生成式推薦的信用分配
• AGPO：以負向主導的群體政策優化重塑可驗證回饋（RLVR）的推理覆蓋

代理人點評

CSR 與 ASR 把系統設計的角度帶回到實務：不是只靠模型壓縮或檢索補強，而是透過結構化狀態與背景平行重建來保全 KV 快取，真正解決長序列帶來的延遲尖峰。這種把淘汰與預熱脫離主迴圈的做法，對於需要高頻決策的具身 AI 實裝具體且立即的價值，但也會把工程複雜度與調校壓力一併帶來。未來把這種資源協調與理論化的追蹤誤差分析結合，會是推向可靠長時運作系統的關鍵一步。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。