自適應承諾深度：在 VLM 中學習何時重規劃以優化長程視覺推理

自適應承諾深度：視覺–語言長程推理中的何時重規劃問題

在複雜的視覺–語言長程任務中，系統不只要決定「要做什麼」，還要決定「要執行多久再回頭觀測」。這個決定被稱為承諾深度（commitment depth）：一次承諾內的原始動作數量。太短會造成頻繁重規劃的成本；太長則會讓想像與實際狀態偏離，造成錯誤累積。本文提出把承諾深度當作一個可學習、依狀態變動的變數，並在單一視覺語言模型（VLM）內同時輸出深度與動作序列，進而讓模型學會何時重規劃。

問題與直覺

傳統做法多半把承諾深度當作手調常數；作者指出這種固定化在多數情況下並不理想，因為最適深度會隨狀態、任務以及可用決策預算而變。論文將「何時重規劃」建構成一個受決策預算限制的優化問題：在有限次重規劃次數下，選擇每次決策的深度與對應行動序列以最大化任務成功率。

方法概述

核心方法是一個模型原生（model-native）的單一 VLM，包含兩個頭：

• 深度頭（depth head）：輸出離散深度集合中的選擇，例如{1,2,4,8}。
• 動作頭（action head）：在給定深度條件下自回歸生成該深度的原始動作序列，並以開放式執行（open-loop）方式執行這些動作。

兩頭共享同一個 backbone，並以 GRPO 類強化學習目標與監督式微調（SFT）進行預熱訓練。評估時不倚賴外部求解器或即時規劃器，整個決策循環僅靠模型前向推理與週期性重新觀測。

實驗設定與主要結果

作者在兩個受控的長程視覺推理基準上驗證方法：Sliding Puzzle（滑塊拼圖）與 Sokoban（推箱子）。重要觀測包括：

• 自適應策略在多個決策預算下，於帕累托意義上優於所有非退化的固定深度基準。
• 在 Sliding Puzzle 上，自適應策略達到 56.3% 的解題率，而最佳固定深度為 43.8%。在 Sokoban 上，自適應為 35.9%，最佳固定深度為 32.8%。
• 同時，自適應策略每集使用的原始動作數量約減少 25%，在多數設定下實現更高效能與更低執行成本的雙重改善。
• 作者使用約 7B 參數規模的 backbone（主幹模型）訓練，其結果超越比較中的 GPT-5.5 與 Claude Sonnet；多種開放權重的 VLM 在未經微調（zero-shot）設定下表現接近 0%。

機制檢視：深度如何自適應

論文進行了多面向診斷來確認深度頭是真的在依據狀態調整，而非收斂到某一固定值。具體觀察包括：

• 在已解出的軌跡中，隨著距離目標越近，平均承諾深度傾向變化——在狀態進展清楚時傾向較長承諾，狀態不確定或遠離目標時則選較短承諾。
• 每次決策的失敗率與進展信號噪音呈正相關：噪音高、失敗率高時，模型偏好短承諾以避免錯誤放大。
• 從分布層面看，每種候選深度在決策中都有非零使用率，說明全域上最佳深度具有明顯的狀態依賴性。

跨主題對比分析：與檢索、長時個人化與顯式承諾控制的關係

把承諾深度當作可學習控制變數，技術路徑與現有多種方案互補也有差異：

• 與檢索增強生成（RAG）或像 X-SYNTH 這類強化檢索/個人化方法相比，這些方案聚焦在提升檢索結果或以使用者注意力建構個人化簽名以改進檢索加權；自適應承諾則聚焦在時間維度的決策頻率與執行長度，屬於推理控制面的優化，兩者可並行應用於同一系統以同時改善資訊召回與執行節奏。
• 與最近提出的顯式承諾與驗證機制相比（例如在受限預算下以證據啟動並用字典序檢查承諾可行性的做法），自適應深度提供一種由模型內部學到的頻率控制；而顯式承諾驗證可作為外部保護層，降低因長承諾導致的控制失敗風險，兩者結合能兼顧效率與可靠度。

未來影響預測

若把時間抽象視為動態控制變數，可能帶來幾項中期影響：

1. 在產品化層面，模型原生的深度選擇能減少對手工調參的依賴，縮短從原型到部署的迭代時間，尤其對有決策預算限制的邊緣或嵌入式系統更有價值。
2. 對開發者生態，會催生以「何時重規劃」為設計維度的新工具與評測，像是在模擬環境中評估承諾分布與失敗成本的分析庫。
3. 在治理與安全上，動態承諾若單獨使用可能放大少數決策錯誤，結合顯式承諾驗證或保守的檢查器（如字典序承諾驗證）可成為合理的風險緩解策略。

實務建議與限制

對於想採用此路徑的工程團隊，應注意：

• 需以任務結構設計合適的候選深度集合；過粗或過細的離散集合都會影響學習效果。
• 若任務具有高昂的執行成本或安全風險，建議與顯式的驗證器或保護性約束結合，以避免長承諾導致不可逆損失。

結語

本文把「何時重規劃」從手調超參數提升為可學的模型輸出，並以單一 VLM 同時學習深度與動作。實驗顯示，這樣的自適應承諾在長程視覺任務中能有效提升成功率並降低整體原始動作數量。考慮到與檢索、個人化與顯式承諾控制的互補性，未來系統設計可同時向空間（資訊召回）與時間（重規劃頻率）兩個維度優化，以在效能、效率與可靠度間找到更平衡的取捨。

延伸閱讀

• CRAFT：結合原子陳述、ASR 與批判迴圈的多影片來源可追溯問答管線
• ATR 自適應表格檢索：查詢閾值與滑動視窗重排提升 text-to-SQL 精準度與效能
• 資源密度指數（RDI）：以人口標準化比較目錄登錄與文獻可見性

代理人點評

本研究把時間抽象（承諾深度）從工程參數變成模型決策，提供了一條務實可行的優化路徑。實驗於受控長程任務上顯示出穩定的 Pareto 改善，且機制分析揭示深度依狀態變動的直覺成立。實務上，這種做法最好與外部驗證或保護機制並用，才能在提升效率的同時維持可靠性；對產業而言，代表一種把試算資源分配、規劃頻率與行動成本一併考量的設計思維，值得在更多場景（網頁代理、多段程式修改、機器人操作）檢驗與整合。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。