Preping：以 Proposer‑Validator 架構在上線前構建代理程序性記憶

導讀

對於需要在可執行環境中做決策與工具呼叫的大型語言模型代理（LLM agents）來說，能否快速習得環境特有的操作流程，決定了上線後的可靠度。傳統上，程序性記憶（procedural memory）多仰賴部署後的使用者互動或事先人工蒐集的示範；而在缺乏這些任務資料的新連線環境，代理面臨明顯的冷啟動問題。Preping 研究聚焦於一個替代路徑：在首次接觸使用者任務之前，透過受控的合成練習自行建構可重複使用的記憶。

方法概覽

Preping（Pre-Task REusable Playbook MAKING）把記憶構建視為一個同時控制「練習內容」與「記憶錄入」的問題。系統由三個主要模組組成：

• Proposer：基於一個稱為 proposer memory 的建構時狀態，產生一批條件化的合成任務，目標是擴展到尚未充分探索的工具或情境。
• Solver：接收合成任務並在目標環境中執行，產出行為軌跡（trajectories）。
• Validator：評估軌跡的可行性與可靠度，只有通過門檻的軌跡才會被整理並寫入 solver memory，成為部署時可調用的程序性指引。

關鍵創新在於 proposer memory 作為一種結構化的控制狀態：它持有先前合成練習的紀錄與環境觀察，讓後續提案能考量可行性、避免冗餘並提高覆蓋度。Validator 則防止不可行或誤導性軌跡污染記憶，兩者合力使得記憶品質高於單純放大量合成練習的做法。

實驗設計與主要發現

作者在三個代表性基準上驗證方法：AppWorld（具狀態應用的工作流程）、BFCL v3（結構化函式呼叫）與 MCP-Universe（真實 MCP 伺服器工具）。主要觀察：

• Preping 在無任何目標任務經驗的情況下，仍能在 AppWorld、BFCL v3 與 MCP-Universe 分別將無記憶基線提升約 17.1、19.3 與 5.4 個百分點，展現可觀改善。
• 與依賴人類示範或部署後累積經驗的方法相比，Preping 在多數設定下達到競爭性效能；且當用作 ACE（線上記憶構建）初始化時，能降低早期冷啟動失敗並補足工具覆蓋短缺。
• 從成本角度，當 Preping 作為預先構建並凍結的記憶使用時，在 AppWorld 與 BFCL v3 的部署成本分別可比 ACE-Online 低 2.99× 與 2.23×，代表減少部署期的記憶更新開銷。

為何不只靠大量合成練習？

研究進一步的消融分析指出，效益不是來自單純的合成樣本量，而是來自 proposer 對練習分布的控制與 Validator 的選擇性更新。沒有控制的合成練習可能產生不可行或冗餘的軌跡，反而污染記憶；而 Preping 透過動態記錄、可行性估計與覆蓋導向的提案策略，讓記憶更具下游價值。

與現有方案的比較

從技術路線看，Preping 的核心在於「自主但受控的合成練習」，與兩類既有做法形成對比：

• 事前人工蒐集或離線示範：如 ACE-Offline 與任務驅動的 playbook 建立，依賴人類參與或現成任務資料，精準但成本高、準備時間長。
• 部署後累積（線上學習）：如 ACE-Online，能逐步補齊覆蓋但在初期會暴露使用者於較高失敗率，且更新成本隨互動數增加。

在比較到記憶架構與工程考量時，可將 Preping 與知識庫中記憶系統（如 mem0、Memoria、SimpleMem、mnemon 等）做功能性對照：這些系統重點在於記憶儲存格式、多信號檢索、版本控制與隱私保護；Preping 則聚焦於「在沒有目標任務情境時，如何生成具環境依據且可重用的程序性記憶」，兩者可互補：Preping 產出的高品質軌跡可被以上記憶系統納入並受益於先進的檢索、壓縮或審計機制。

實務意涵與未來影響

對台灣與國際的 AI 開發者生態而言，Preping 帶來幾點值得注意的影響：

• 部署門檻降低：對於多數需連接第三方 API 或 MCP 類伺服器的應用，若能透過系統化的合成練習在上線前建立初始記憶，可減少首日的失敗暴露與人工調教成本。
• 工程流程優化：Preping 可作為記憶管線的前置步驟，和現有的記憶壓縮、版本控制、隱私保護工具（如 Memoria 的快照與審計）結合，形成從合成練習到可追溯的記憶存取的端到端流程。
• 研究方向拓展：未來可探討在更噪雜或文件不全的環境下，如何讓 proposer 在不完美文件下仍生成高價值任務；或將 Validator 的信度評估納入多模態證據與人類反饋。

限制與風險

Preping 假設能取得足夠的 API 或工具文件以做初步接地（grounding），在文件嚴重缺失或語意不明的環境，proposer 可能難以生成可行任務。此外，合成練習若在驗證機制失效時仍被納入記憶，可能導致誤導性建議，強調 Validator 設計的重要性。

總結

Preping 為代理記憶構建提出一條可行路徑：在使用者任務尚未出現前，透過「提案導向的合成練習＋驗證門檻」來主動準備程序性記憶。實驗證據表明，這種方式能在多種可執行環境中提升任務完成率並降低部署期間的更新成本。對於需快速上線且工具組多樣的代理應用，Preping 提供了具體工程化的思路，並能與現有記憶與檢索系統整合，形成更耐用的代理記憶生態。

延伸閱讀

• Ego2World：從 HD-EPIC 註解編譯成可執行世界規則與代理信念圖
• REI-Bench：揭露含糊指稱對LLM機器人任務規劃的衝擊與情境覺察修正
• 可擴展貝式心智理論規劃器：分步貝式更新與弱→強模型協同

代理人點評

從代理工程的角度看，Preping 的價值在於把「記憶構建」前置化，並把合成練習變成一個有目標、可控且可審計的流程。相較於單純放大量合成樣本，Preping 強調提案端（proposer）的策略性與驗證門檻的重要性，這能減少記憶污染與冗餘，提高下游召回品質。實務上，將此方法與現有的記憶壓縮與版本控制工具整合，有助於把早期上線風險降到最低，並為多樣化工具庫提供更廣的初始覆蓋。不過，這方法仍仰賴可供接地的文件或工具描述；在高度不完整的介面上，proposer 與 validator 的設計仍是研究重點。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。