MemRefine：在記憶預算內優化大型語言模型對話記憶
隨著 LLM 長期對話需求提升，記憶容量受限成瓶頸。研究提出 MemRefine 框架，先用相似度找候選，再由 LLM 判斷事實價值進行刪除、合併或保留，確保在固定預算內仍保留關鍵資訊。實驗證明在多種記憶架構與對話基準中，MemRefine 能維持效能並優於傳統規則方法。
背景與挑戰
大型語言模型（LLM）在長期對話應用中，需要保留過去的對話資訊以支援未來任務。然而，隨著互動次數累積，記憶庫會不斷膨脹，導致儲存成本上升，且大量冗餘條目會擠掉最有價值的證據，特別是在記憶預算有限的資源受限平台上更顯困難。
MemRefine 框架
為解決此問題，研究者提出 MemRefine，一個以 LLM 為核心的記憶管理流程。流程分為兩階段：
- 利用表面相似度快速找出可能的刪除或合併對象，僅作為候選集合。
- 將候選對交給 LLM 判斷其事實內容價值，決定刪除、合併或保留，重複迭代直至記憶容量符合預算。
此設計避免了僅依賴相似度的誤判，讓事實資訊成為最終決策依據。
實驗結果
在多種記憶結構（如向量資料庫、鍵值對等）與長期對話基準測試中，MemRefine 能穩定達到目標預算，同時保持下游任務的效能。相較於傳統的規則式刪除或合併方法，MemRefine 在預算緊張的情境下表現更佳，顯示其在實務部署上的優勢。
延伸閱讀
- MADP 多代理流水線與PFTFI：以LLM與人員回饋提升文件擷取準確度
- 狀態驅動編排（SDOF）：結合意圖路由器與 SkillRegistry 的合規防線
- 整合MPHA與ACSE的IFPV框架：生成式作戰規劃到高擬真驗證閉環
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
