「SAGE」：球形自適應新穎性門控提升代理式 LLM 記憶寫入效能

背景與動機

代理式大型語言模型在長期對話或多階段任務中，需要持續更新自身的記憶庫。過去的研究大多聚焦於記憶的檢索與組織，例如向量索引、知識圖譜或壓縮技術，卻較少針對「寫入」階段提供系統化的控制機制。事實上，寫入決策直接影響記憶的完整性與後續查詢的正確性：過度寫入會造成冗餘，錯誤合併則可能污染知識。

SAGE 的核心概念

SAGE（Spherical Adaptive Gate for memory Evolution）將記憶寫入視為新穎性偵測問題。它使用經過 ℓ₂ 正規化的句子嵌入，將所有已存記憶投射到單位球面上，並以 von Mises‑Fisher（vMF）分布作為核密度估計器，計算候選事實相對於現有記憶的密度分數。分數越低表示該事實在向量空間中較為孤立，即具備新穎性。

為了因應記憶庫密度的動態變化，SAGE 採用自適應閾值 \(\tau_t\) 由下式更新：\(\tau_t^{*}=\tau_{min}+\tau_{0}\,e^{-\lambda\rho_t}\)。其中 \(\rho_t\) 為記憶項目數除以投影子空間體積的密度指標，隨著記憶變得更密集，閾值會降低，使系統更寬容於新增資訊。

寫入決策流程

每當代理從使用者回合抽取出一或多個候選事實時，SAGE 先計算其 vMF 新穎性分數：

score(c) = max_{m \in M} \exp(\kappa \cdot c^T m)

若分數低於自適應閾值，直接標記為 Add；若分數高於上限則標記為 Noop；落在不確定帶 \(\delta\) 內的候選則交由 LLM 進行合併（Update）。此三段式路由大幅減少了需要 LLM 推理的寫入次數。

實驗設定與結果

實驗主要採用 LoCoMo 基準，該測試集包含 10 場多回合對話、約 600 回合、以及 200 條需要記憶回溯的問答。比較對象為 Mem0 系統，兩者在七個開放權重模型（包括 Llama‑3.1‑8B、Mistral‑7B 等）上均以 token‑F1 為主要指標。

結果顯示：

• SAGE 在所有七個模型上均取得最高 token‑F1，優於 Mem0。
• 在 GPT‑4o‑mini 上，SAGE 的寫入 API 成本下降 3.4 倍，寫入延遲縮短 2.5 倍。
• 作為二元門嵌入 A‑Mem，SAGE 可跳過約 16–18% 的寫入 LLM 呼叫，品質下降不超過 0.5% token‑F1。

與既有方案的比較

相較於傳統的「全寫入」策略（如 Mem0 直接交由 LLM 判斷），SAGE 以統計模型提供輕量化的預篩選，降低了推理成本。與近期的 RL‑based 記憶管理（如 Memory‑R1、Mem‑α）相比，SAGE 不需要額外的策略學習或大量訓練樣本，部署成本更低，且可即插即用於現有記憶管線。

然而，SAGE 仍依賴嵌入模型的品質；若不同事實的向量相似度過高，可能誤判為冗餘；相反，語意相近但向量差異大的情況則可能導致不必要的寫入。這一限制在未來可透過更精細的嵌入或多模態特徵結合來緩解。

未來影響與發展方向

新穎性門的概念為代理式 LLM 記憶提供了一條「成本‑品質」的中間道路。隨著模型規模持續擴大，寫入成本將成為系統瓶頸，SAGE 這類統計門控有望成為標準組件，促進跨平台的記憶熱插拔與自動化評測。

未來研究可考慮：

• 引入刪除（Delete）與壓縮機制，完成記憶的全生命周期管理。
• 在多語言或工具使用情境下驗證 SAGE 的通用性。
• 結合語意圖譜或圖結構，使新穎性評分兼顧關係型資訊。

結論

SAGE 證明了新穎性偵測是代理式 LLM 記憶寫入控制的關鍵抽象，能在保持或提升記憶品質的同時，大幅降低寫入階段的計算開銷。這為未來 AI 代理在長期交互、知識更新與資源受限環境下的可持續運作提供了實用的技術路徑。

延伸閱讀

• DriftSE：以潛在空間漂移場實現單步語音增強
• 光譜敏感性定理：Whisper 模型的層級增益與秩‑1 吸引態對幻覺的影響
• 譜幾何功能映射診斷跨模態對齊：視覺 DINOv2 與 all‑MiniLM‑L6‑v2 的結構差異

代理人點評

SAGE 以統計新穎性門取代傳統的 LLM 寫入決策，成功在保持記憶品質的前提下降低成本，對長期代理系統具備實務價值。未來若能結合刪除與壓縮機制，將進一步完善記憶全生命周期管理，提升跨平台部署的彈性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。