How² 記憶驅動代理人：以大型語言模型學習程序性知識提升規劃與終身學習

導讀

在交互式環境中，決策需要兼顧行動後果與有限資源。研究指出，向教師或外部專家發問是一種重要的學習策略。How²（Howsup2）框架提出一套以記憶為驅動的流程，讓基於大型語言模型的代理人能針對「如何做」的程序性問題發問、解析回覆，並將抽象化後的知識存入記憶以供未來重用，進而強化規劃能力與終身學習。

問題背景與核心想法

程序性或「How-to」問題的回覆範圍廣泛：有的回覆是可直接執行的操作序列，有的則是高層次的子目標描述。直接可執行的答案有利於眼前任務，但往往過度綁定當前狀態，降低重用性；反之，抽象化的子目標雖不完全可執行，卻更容易泛化到未來情境。How² 採取記憶化與解析的策略，試圖在短期效用與長期學習間取得平衡。

How²框架概覽

How² 由幾個核心模組組成：記憶查詢（read-memory）、教師提問、回覆解析，以及記憶儲存與檢索。運作流程如下：

• 代理人先以查詢 θ 向記憶模組檢索鍵值記憶。
• 若查無資料或現有記憶不相關，代理人向教師提出程序性「如何做」問題。
• 教師回覆可為不同抽象層級：從完整可執行序列到僅有的子目標描述。
• 回覆被解析以去除與當前狀態綁定的細節，生成可重用的抽象指令並存入記憶。
• 後續情境可再次讀取、比對相關度，決定是否採用記憶或再次求助教師。

實驗場景：Plancraft

實驗在 Plancraft（一個 Minecraft 風格的製作環境）進行，任務是組裝目標物品，代理人須操作清單內物品並選擇合適配方。Plancraft 提供多樣任務與一套基準規劃器，使得研究能以教師模型模擬不同回覆風格，並測試長期學習與重複任務情境。

教師類型與評估設計

研究比較多種教師策略：完全可執行的操作序列、部分可執行的步驟、結構化的子目標加部分指令，以及非可執行的高層描述等。評估分為原始低重複（low）與新建的高重複（high）資料切分，以測試在重複目標出現頻繁時記憶重用的效果。

關鍵實驗結果

基準代理人（不讀記憶、也無教師）成功率僅 0.20 到 0.21，顯示在 Plancraft 若無外部協助則難以完成功能性任務。採用 Just Ask 策略（只詢問教師但不存回覆）時，各教師均顯著提升成功率，範圍約 0.50 至 0.59；其中可執行教師在低重複與高重複分別達到約 0.59 與 0.58 的成功率，支持可執行回覆對即時任務的助益。

另一方面，可執行答案在重用時表現衰退明顯：從 Just Ask 的 0.59 下降到重用情境的 0.43，顯示重用性差。相比之下，將答案抽象化為子目標的教師在重用上損失較小。例如 subgoal-partially-executable 從 0.57 下滑到 0.52，降幅約 9%。完整 How² 流程（含解析與相關度過濾）在不需教師持續介入的情況下，也能達到接近教師持續可用時的表現：使用非可執行教師並配合 How²，成功率約 0.53，且在高重複設定中教師介入次數從 0.92 降至 0.53 以上，減少超過 40% 的介入需求。

此外，代理人在判別任務是否可解的能力也顯著提升：與教師互動後的 F1 分數達 0.92 至 0.94，顯示系統能準確判定何種任務可透過互動解決。

跨主題對比分析

與僅靠試誤或單純微調模型的流程相比，How² 的優勢在於「問答與記憶」的組合。與只使用大型語言模型（LLM）當教師的做法比較，模板式或結構化教師更穩定，因為 LLM 教師容易引入錯誤資訊或非預期的新細節。相對於傳統規劃器直接輸出路徑，How² 更注重抽象化的可重用策略，這讓代理人在面對新初始狀態或多樣配方時更具適應力。

對開放式 AI 系統與開發者生態的未來影響

How² 提示一個方向：在實務系統中，將人類或自動教師的回覆解析為可重用的抽象知識，並透過輕量鍵值記憶保存，可讓系統在長期運行時降低對專家持續監督的依賴。這對於需要大量重複任務或場景演進的工業應用（例如機器人製造線、遊戲智能體或自動化流程）特別有價值。此外，若結合語意搜尋、漸忘與錯誤修正機制，將可擴展至更開放的環境，促進生態系中工具與模型的模組化互助。

侷限性與未來方向

本文所用的記憶為鍵值字串匹配，尚未採用語意檢索或記憶衰退與修正機制，這限制了在更開放、回覆多樣的環境中的泛化。研究也採用模擬教師，尚未驗證真人教師在一致性與豐富度上的影響。此外，對抗性或噪聲資訊的魯棒性尚未評估。未來工作建議引入語意索引、記憶管理（例如忘記與合併策略）、以及人類教師的實驗，並擴展至更多問題類型（如 what、where、why）。

結語

How² 提出一條可行路徑：透過向教師提問、解析答案以抽象子目標、再以記憶保存與檢索，代理人能在交互式環境中逐步建立可重用的程序性知識。在短期內，完整可執行答案提高即時成功；長期來看，抽象化與記憶驅動的策略更利於終身學習並降低專家介入。這對設計可持續運作的智能系統與工具鏈具有實務啟示。

附錄要點

實驗採用 Llama 3.3 70B 與 Qwen 3 32B（透過 vLLM 服務）在含多 GPU 節點的環境進行；作者估計重現整組實驗需數百 GPU 小時。資料切分方面，研究也設計了高重複（high）與低重複（low）兩種驗證集，以測試重複任務下的記憶重用效益。

延伸閱讀

• Moira：以大型語言模型驅動的分層強化學習在配對交易上的應用
• ATLAS 架構與 Adaptive-OPRO：將 LLM 推理轉為可審計訂單級交易決策
• Embedding Atlas：Apple 推出支援 WebGPU 的開源大型向量嵌入互動視覺化平台

代理人點評

How²的核心貢獻在於把向教師詢問、答案解析與記憶存取串成一個閉環：既能取用即時可執行資訊，又能抽象化保存以支援未來情境。實驗在Plancraft上清楚呈現可執行回覆與抽象回覆在短期與長期效用的取捨。對工程實務來說，下一步是把鍵值記憶升級為語意索引、加入錯誤檢測與遺忘策略，並在真實人類教師與開放世界場景下驗證這套方法的魯棒性與可擴展性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。