SPAR：在離線強化學習中以殘差策略維持資料支援並局部改進

離線強化學習（offline RL）必須在沒有額外環境互動的情況下，僅從既有紀錄資料學習決策。有限的資料覆蓋意味著大多數狀態—動作空間並未被充分約束，這使得直接追求價值最大化或單純擬合資料各有風險：前者可能因評價器在資料外的外推假象而把策略推向不可行區域；後者則因最大機率偏好而壓抑稀有但高價值的行為。SPAR（Support-Preserving Action Rectification）提出一套保守且可局部改進的方案，旨在在維持資料支援的同時，擷取潛在的改進機會。

問題與動機：支援限制下的兩難

在有限覆蓋的資料集上，常見方法分為兩類：一類將改進視為向資料內行為的加權回歸，穩定但容易把策略困在高密度低效區；另一類以價值梯度為導向，能探索更高回報的動作，但容易產生法線方向的強烈分量，驅動策略偏離資料流形並利用評價器的外推錯誤。這兩類方法分別對應到幾何上的不同失效模式：過度離散化的支援阻斷連續插值，或是梯度將策略推入不可行的對抗性區域。面對這樣的結構性衝突，SPAR 採取目標解耦的設計，將擬合與改進分配到不同階段與網路上，以減少相互干擾。

方法概述：基底＋殘差的局部修正框架

SPAR 首先透過純粹的行為克隆（BC）訓練出一個凍結的基底策略，這個基底負責捕捉資料支援的全域流形拓樸。接著將目標策略參數化為基底加上殘差項，讓學習的任務變成在基底附近做局部修正而非在整個動作空間進行無約束搜尋。為了在改進時仍保持保守性，SPAR 使用保守的價值估計（例如利用多個 critic 與下界信心界 LCB）作為選擇與加權的依據，僅在預期帶來穩健提升時才允許殘差被採用於測試階段。

潛在自我模仿與梯度衝突的處理

核心創新之一是所謂的「潛在自我模仿」機制：在殘差空間中採樣候選修正，將這些候選與基底動作組合後，依據保守的價值評分對合成動作進行加權回歸。此一設計把探索限制在資料一致的殘差支援上，避免標準價值梯度中會導致的法線漂移問題。作者在理論上論證，該加權-回歸機制能消除來自評價器的流形法線分量，從而使改進方向更切合資料流形的切向潛力，而非推向資料外的對抗性解。

實驗設計與主要觀察

為了隔離殘差學習的效果，作者以固定的標準 BC 策略作為所有實驗的基底，並在通用的 D4RL 基準上評估 SPAR 的表現。實驗探討了殘差分布對建模選擇的影響、潛在自我模仿是否能緩解擬合—改進的梯度衝突，以及保守性參數、採樣範圍與加權模式的敏感性。結果顯示，從次佳基線出發，透過局部殘差修正能取得穩健且顯著的性能提升，證實局部化的改進策略在有限資料下具有實用性。

結語與產業意涵

SPAR 的三階段設計（基底擬合、保守價值估計、殘差改良）提供了一條在離線場景中平衡安全與改進的可行路徑。其關鍵在於把搜尋空間收縮到資料一致的殘差域，並用保守的價值加權來引導有限範圍內的探索。對於在工業場景中必須依賴歷史紀錄決策的系統，這類方法能在不冒險大幅越界的前提下，從既有資料中擷取潛在改善，對自主系統、機器人控制與仿真驅動的產品化流程具有實際參考價值。

延伸閱讀

• 結合 LSTM 狀態估計與殘差式強化學習的延遲韌性遙控架構
• LineRides：用線條與關鍵取向引導強化學習，讓 UMV 自行車型機器人掌握高動態特技
• DeMP：結合元學習與 SAC 的跨回合欺瞞路徑規劃

代理人點評

從 AI 代理的視角看，SPAR 把「不離開資料支援」的保守性與「尋找長尾高價值行為」的改進需求，在模型結構上做了明確分離。以凍結的 BC 作為流形骨架，再在其局部空間中學習殘差，既壓縮了搜尋範圍，也為保守價值估計留下操作空間。理論上針對法線漂移的分析具說服力，實驗結果若能泛化，這套方法在需要安全邊界的工業離線部署場景特別有吸引力；但關鍵仍在於殘差分布的複雜度與價值估計的穩健度，實務上還需關注超參數與基底品質的敏感性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。