深度分析
Cached State Representation (CSR) 與 Asynchronous State Reconciliation (ASR):以 KV 快取實現低延遲的 LLM 機器人決策
面對機器人長期狀態與即時決策衝突,研究提出CachedStateRepresentation(CSR)與非同步狀態對齊(ASR)。CSR把可變狀態分割為動態後綴並附加於穩定前綴以保全KV快取,ASR以平行資源預熱並原子交換被淘汰狀態快取以消除清除延遲。實驗顯示在長序列情境下延遲大幅下降且能維持高頻連續決策。