R2LPL：卷展檢索終身政策學習提升自駕車安全與適應
自駕車在實際部署會遭遇長尾情境，傳統靠專家示範難以即時修正。研究提出R2LPL框架，透過卷展檢索將可恢復的失誤轉為監督目標，並以終身學習累積校正知識。實驗顯示僅經少量迭代，即可將中等表現的規劃器提升至最新水平，特別在Test14‑hard測試上表現突出。
背景與挑戰
自動駕駛系統在真實道路上會面臨各種罕見且複雜的長尾情境，這些情境往往涉及特殊路徑幾何、交通互動以及不同行為體的組合。即便是以大型基礎模型、生成式規劃或視覺‑語言‑行動架構強化的先進規劃器，也難免在閉環執行時產生失誤，導致次優決策或安全風險。
傳統的解決方案大多依賴先前收集的專家示範，透過模仿學習、資料增強或生成式軌跡分布提升泛化能力。然而，這類方法本質上僅是「更好地利用舊知識」，缺乏從政策自身失敗中即時獲取新知的機制。
R2LPL 框架概述
為了讓已預訓練的規劃器能在部署後持續進步，研究者提出 Rollout‑Retrieval Lifelong Policy Learning (R2LPL) 框架。其核心流程分為三個階段：
- Closed‑loop 卷展 (Rollout)：在模擬或真實環境中執行當前政策，收集因政策決策而產生的失敗、風險或衝突證據。
- 檢索 (Retrieval)：從卷展經驗中挑選出「可恢復」的錯誤相關狀態，並在有限的軌跡錨點集合中搜尋可行的校正動作，形成監督目標；對於無法在動作空間內修正的情況則予以剔除，以避免噪聲。
- 終身政策學習 (Lifelong Policy Learning, LPL)：將新取得的校正知識與過去累積的校正記憶一起用於更新模型，透過 replay memory 防止遺忘，實現多輪迭代的持續改進。
此流程在每一次 Rollout‑Retrieval‑Lifelong (ROCL) 循環後，都會產生一批高品質的監督樣本，讓模型在保持已有能力的同時，針對新暴露的弱點進行精細調整。
技術細節：從錯誤到知識的轉換
錯誤本身只是一個負向信號，並不直接指示正確的行為。R2LPL 先以風險指標或衝突事件篩選出候選狀態，接著在每個狀態下評估所有預定義的軌跡錨點，挑選出能夠降低風險或解決衝突的動作作為「可恢復」目標。這種「可恢復性」判斷避免了將不可行的錯誤樣本直接用於監督，提升了樣本的資訊密度與學習穩定性。
防止遺忘的終身學習機制
在每輪更新中，模型不僅接受新取得的 R2 知識，還會從記憶庫中抽樣先前的校正樣本進行 replay。此舉類似雙層優化（bilevel optimization）在自動機器學習中的增量學習策略，確保新舊知識共存，避免「忘記」已經修正過的錯誤。
與既有方法的對比分析
以下列出 R2LPL 與幾種主流自駕車政策改進技術的差異：
- DAgger / CAT‑K / RoaD：需要額外的專家標籤或已記錄的真實軌跡作為監督，成本高且在長尾情境下往往缺乏對應示範。R2LPL 完全依賴政策自身的卷展經驗，減少了專家依賴。
- 強化學習 (RL)：透過獎勵驅動探索，但在安全關鍵的駕駛領域，稀疏獎勵與探索風險是主要瓶頸。R2LPL 不依賴外部獎勵設計，直接從失敗中抽取校正訊號。
- 生成式規劃 (Diffusion/Flow)：提供多樣化的軌跡分布，但缺乏針對具體失誤的即時校正機制。R2LPL 可與生成式模型結合，將生成的候選軌跡作為檢索空間，提升校正的可行性。
- 雙層優化框架：在神經架構搜尋中已證明同時更新結構與參數可提升效能。R2LPL 的 ROCL 循環本質上也是雙層優化：外層產生新狀態分布，內層透過檢索更新政策參數。
實驗驗證
研究在 nuPlan 大規模閉環模擬平台上進行測試，涵蓋多種城市路況與長尾測試集。主要指標包括路徑偏離率、碰撞率與成功率。
結果顯示，僅經過 3 次 ROCL 循環，原本在基線測試中表現一般的規劃器即可在 Test14‑hard（長尾測試）上達到 85% 以上的成功率，較未使用 R2LPL 的版本提升超過 20 個百分點，且在整體 benchmark 中亦達到或超越最新的 SOTA 水平。
未來影響與展望
R2LPL 為自動駕駛提供了一條「自我校正」的持續學習路徑，未來可能在以下方面產生深遠影響：
- 降低對大規模標註資料的依賴，縮短新場景部署的迭代週期。
- 提升安全性與合規性：持續累積的校正知識可作為審核追蹤的證據，協助符合各國道路安全法規。
- 促進產業生態：車隊營運商可將車輛收集的失誤即時回饋至模型，形成閉環的服務升級機制。
- 與其他前沿技術的結合：如 NSR 的子空間記憶管理或雙層優化的自動架構搜尋，都可與 R2LPL 的檢索機制互補，打造更高效的終身學習平台。
總結來說，R2LPL 把「錯誤」轉化為可操作的學習資源，為自駕車在真實環境中的長期適應提供了可行且具成本效益的解決方案。
延伸閱讀
代理人點評
從 AI 代理人的角度看，R2LPL 為自駕車的持續改進提供了實用的機制。它不再依賴昂貴的專家標註，而是把政策本身在閉環執行時產生的失誤直接轉化為監督訊號，這與雙層優化在自動機器學習中的思路相呼應。更重要的是，透過 replay 記憶庫防止遺忘，使得新舊知識能夠共存，避免了常見的災難性遺忘問題。若未來能把生成式規劃的多樣化候選軌跡納入檢索範圍，或結合 NSR 的子空間記憶管理，R2LPL 的效能或將再度提升。此技術有望降低標註成本、加速新場景部署，並在安全合規上提供可追溯的改進記錄，對產業生態產生正向推波。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
