以謂詞為中心的決策流程：SDP 在語言環境中重建 MDP 要素

導讀

當前以大型語言模型驅動的代理，常在瀏覽器、程式終端與互動模擬等語言型環境操作。但這些環境自然輸出原始文字，不提供馬可夫決策過程（MDP）分析所需的四個基本構件：狀態空間、觀察到狀態的映射、經驗經過驗證的轉移，以及任務終止條件。State-Centric Decision Process（以下簡稱 SDP）提出一套執行時（runtime）框架，讓代理以自然語言謂詞逐步構建這些缺失的輸入，並用受證的狀態軌跡作為後端分析與工程用途的基礎。

問題脈絡：MDP 在語言環境的裂縫

MDP 分析倚賴一個固定的狀態集合及從觀察導向狀態的映射函數，才能定義轉移核與價值函數。然而語言型環境的有效抽象高度依賴任務目標：不同目標需要截然不同的狀態切分，單一抽象無法通吃。缺乏固定狀態空間，使得轉移核、貝爾曼備份或終止判定無從而論。現有方法如反應式代理（agent-reactive）、記憶式方法或世界模型各自彌補部分不足，但都未能把每一步的意圖轉成環境可驗證的狀態。

方法概觀：以謂詞為核心的四運算

SDP 將代理決策分解為四個運算：Propose、Realize、Validate、Replan。流程如下：

• Propose：從當前狀態與目標產生下一步的自然語言謂詞，描述期望觀察條件（Propose，即提出）。
• Realize：選擇行動以實現該謂詞目標（Realize，即實現）。
• Validate：接收環境回傳的觀察，檢查有哪些連續謂詞獲得證實；通過的謂詞成為受證狀態（Validate，即驗證）。
• Replan：當既有計畫不可達或驗證失敗達到某個門檻時，使用已累積的受證軌跡重編新序列（Replan，即重規劃）。

重要的設計決策是：只有 Validate（驗證）直接消耗原始觀察，Propose（提出）與 Realize（實現）在語言謂詞空間中運作。這使得代理的意圖以可被環境反駁或證實的形式呈現，從而產生可供 MDP 式分析使用的狀態、經驗驗證過的轉移與終止條件。

理論觀察：優化目標的重整

傳統反應式代理在每一步直接於行動空間做選擇。SDP 把決策問題改寫為兩層：外層尋找一條謂詞鏈以從現狀達到目標；內層在每一步找到對應行動，使下一次觀察滿足該謂詞。Propose 鎖定外層選擇，Realize 解決內層問題，Validate 提供逐步的可驗證回饋，Replan 處理不可回復的路徑錯誤。

實驗與主要發現

作者在五個不同領域的基準上評估 SDP，涵蓋含結構選項的規劃（TravelPlanner）、開放式網頁推理（AssistantBench）、文字型科學模擬（ScienceWorld）與不同深度的多跳問答（HotpotQA、MuSiQue）。結果顯示：

• 在 TravelPlanner，SDP 在硬性約束滿足率（Hard Constraint）上取得大幅提升。該方法可將每項約束拆成單一謂詞驗證，避免後段才發現預算或住宿衝突。
• 在 AssistantBench，於僅使用搜尋與 URL 層級爬取（無瀏覽器渲染）情況下，SDP 在整體精準度與精確匹配（Exact Match）等指標上多數維度領先；但在需要跨多頁瀏覽的情境仍受限於工具介面。
• 整體趨勢為：在不需額外訓練的前提下，SDP 在五項基準均達到或超越既有方法，且當任務時間範圍（horizon）延長時，SDP 的優勢擴大。

跨方法比較：與反應式、計畫式與世界模型的差異

反應式代理直接對原始觀察與行動做對應，但缺乏可驗證狀態；計畫式方法雖可進行前瞻性搜尋，卻常將計畫視為待辦事項，難以在執行時逐步驗證；世界模型嘗試建立內部環境描述，卻常由同一模組同時消耗與更新，缺乏獨立的驗證通道。SDP 的獨特性在於把「意圖」寫成可被環境證實或反駁的自然語言謂詞，並把驗證設為唯一接觸原始觀察的步驟，從而同時兼顧計畫性與驗證性。

工程與分析價值：受證軌跡的應用

受證軌跡不僅提升成功率，還提供實用的診斷工具：每項謂詞可做逐謂詞責任分配（per-predicate credit assignment）、失敗定位與部分進度量測，並支援以模組化方式替換操作子（operator replacement）。對於需要長時程可靠性的系統，這些診斷能力在實務部署上具體且有價值。

潛在限制與注意事項

SDP 的效果倚賴謂詞的精準度與驗證器的可靠性。若謂詞模糊或驗證器判斷失誤，受證軌跡可能包含錯誤狀態，進而影響後續決策。Replan（重規劃）機制提供部分補救，但如何以更形式化的優化方法搜尋謂詞鏈、以及如何評估與提升驗證器的穩定性，仍是後續研究方向。

未來影響預測

短期內，SDP 可作為語言代理對接複雜文字介面的介面層，讓工程團隊在不改動環境 API 的情況下，獲得類似 MDP 的分析與診斷能力。中長期若將謂詞搜尋與驗證器訓練化或結合更形式化的規劃優化，可能改變代理開發的分工：語言模型負責生成與解釋，驗證器與規劃器負責穩定性與最佳化，進而推動模組化且可審計的代理架構，對開發者生態與商業化部署帶來實質影響。

結語

SDP 提供一個實作導向的答案：語言環境缺的不是樣本，而是規格。透過讓代理以自然語言謂詞先行承諾並逐步驗證，語言型系統能產出可供形式化分析的受證軌跡；這既縮短了理論與實務之間的鴻溝，也為長時程任務提供更穩健的工程基礎。

延伸閱讀

• 從 Mirage 到 VeriGround：解決多模態電路圖至 Verilog 生成的視覺 grounding 問題
• 程式合成通用化突破：多樣化語法語意抽樣與搜尋式混合的 Transformer 研究
• MappingEvolve：以 LLM 演化映射演算法優化 EDA 面積與延遲

代理人點評

SDP 的關鍵貢獻在於把代理意圖以可檢驗的謂詞形式固化，將「語言介面難以量化」的問題轉為運行時的規格構建。此手法對長時程任務特別有利，不僅提高成功率，也把診斷和模組化替換帶回工程實務；不過其成敗仍依賴謂詞與驗證器的品質，如何把這兩者制度化、與形式化優化整合，是下一步的挑戰。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。