delta-mem：以OSAM矩陣與δ規則在0.12%參數下實現AI代理的持續工作記憶

delta-mem：用小型矩陣為AI代理建立持續的工作記憶

AI代理在長期、多步的工作流程中常出現「忘記」問題：編碼助理追蹤不到先前除錯脈絡，資料分析代理重複處理同一段上下文。常見應對是擴大模型上下文視窗或加入檢索增強生成（RAG），但這兩種策略會帶來延遲、成本與脆弱性。

長期記憶的挑戰

目前系統多把記憶視為上下文管理：要不是把更多文字塞進視窗，要不就是外部檢索回文本。這些方法對短期任務有效，但面對長時間、跨多步的交互時，計算成本呈二次方上升，且模型會出現上下文退化或衝突資訊干擾。

研究者把現有方案分為三類：把歷史當文本注入的 Textual memory、以外部模組編碼檢索的 Outside-channel（RAG），以及把記憶寫入模型權重的 Parametric。這三者各有優缺：文本記憶受視窗限制，RAG增加延遲與整合複雜度，參數化記憶一旦訓練好就不易在線更新。

delta-mem 的核心做法

為了兼顧緊湊與動態更新，團隊提出 delta-mem：把歷史互動壓縮到一個固定大小的「聯想記憶矩陣」（Online State of Associative Memory，OSAM），在推理時計算時與主模型一起運作，但不改動主模型的參數。

操作流程是：在生成階段，不直接把過去文字回放進提示，而是把主模型當前的隱態投影到delta-mem矩陣以檢索舊有記憶，取得的聯想記憶訊號再轉為數值修正（corrections），套用到模型的計算中，從而在推理時導向模型使用相關過往狀態。

互動結束後，delta-mem用所謂的「δ規則學習」（delta-rule learning）更新矩陣：舊狀態會預測新的注意力值，與實際值比較後以誤差修正記憶。模組也採用門控機制來控制保留與寫入幅度，藉此平衡穩定記憶與短期雜訊的遺忘。

此外，研究者提出三種寫入策略：

• Token-state write：逐 token 更新，捕捉細節但對短期雜訊敏感。
• Sequence-state write：在訊息段落層級平均寫入，平滑更新但會犧牲局部細節。
• Multi-state write：把記憶分解為多個子狀態，適合把事實、任務進度等不同類型分開存放，以降低互相干擾。

實驗與表現

作者在多個模型骨幹上測試delta-mem，包括Qwen3-8B、Qwen3-4B-Instruct與SmolLM3-3B，並以8×8的小矩陣為配置。評測項目涵蓋一般能力基準（如HotpotQA、GPQA-Diamond、IFEval）與偏向長期記憶的測試（如LoCoMo與Memory Agent Bench）。

結果顯示，delta-mem在多數基準上超越文本記憶、參數化系統與外部通道基線。例如在Qwen3-4B-Instruct上，token-state write取得平均分51.66%，超過未改動的基底模型46.79%與最強基線Context2LoRA的44.90%。在Memory Agent Bench上，平均分從29.54%提升到38.85%，測試時學習子任務也幾乎翻倍（從26.14%到50.50%）。

在資源效率方面，delta-mem僅增加約4.87百萬可訓練參數，佔Qwen3-4B-Instruct的0.12%。相對地，MLP Memory 需要約30億參數，達到骨幹模型76.40%大小卻表現不如delta-mem。當提示長度擴展到3.2萬tokens時，delta-mem在GPU記憶體使用上與未修改模型接近，避免了其他系統常見的記憶膨脹。

部署與適用場景

作者已公開程式碼與訓練好的adapter權重，並指明整合門檻低：工程團隊可在既有指令微調的骨幹上掛接Delta-Mem adapter，僅訓練adapter參數以反映目標的多回合或長上下文行為，之後在執行時在線更新記憶狀態即可。

研究者也強調取捨：delta-mem適合作為模型內部的快速工作記憶，用於記住專案慣例、除錯步驟、使用者偏好或多步推理的中間狀態；但它不是可替代的檔案日志或嚴格可審計的檢索系統。因為所有資訊被壓縮在有限狀態中，可能會有記憶混合或詳細事實丟失的風險。

因此最實際的企業架構是混合式：delta-mem提供低延遲、持續更新的內部工作記憶，RAG或向量資料庫則作為長期、可審計與精確檢索的層級，並由策略層決定哪些資訊要存留、檢索或刪除。

與現有方案的對比分析

相較於把全文回放進提示的Textual memory，delta-mem以數值修正替代文字回放，降低了prompt token成本與上下文膨脹風險。對比Parametric方法（如把記憶寫回模型權重），delta-mem保留可線上更新的彈性而不必重新訓練整個骨幹模型。與外部RAG相比，delta-mem能在低延遲下維持行為連貫，但在精確引用、合規與審計需求上仍需RAG支援。

未來影響與展望

短期內，delta-mem有望成為工程團隊降低運行成本與延遲的選項，特別適合持續運作的助理與需要多回合保持狀態的代理。中長期，它可能促使企業採用分層記憶架構：模型內的快速工作記憶配合外部長期向量庫與政策層，從而兼顧效率、精確與合規。

不過實務上仍有挑戰：寫入策略的調校、門控與衰退參數的工程化，以及如何在多代理或多任務場景下避免資訊互相污染，都是落地時要面對的問題。研究者自己也指出，當務求可審計的精確事實檢索時，RAG仍不可或缺。

結語

delta-mem提供了一條折衷路徑：用極小的參數開銷和動態更新機制，把歷史互動以數值化、可修正的方式融入推理流程。對於想在現有模型上加入持續行為狀態、又不想承擔巨量提示或昂貴參數膨脹的團隊，delta-mem是一個值得測試的選項。但在需要精確引用或合規審計的場景，混合使用delta-mem與RAG仍是較務實的架構。

延伸閱讀

• 決策情境圖：以時序化本體補足 RAG 在企業代理人中的記憶與決策缺口
• Redis Iris 情境層解析：解決代理式 AI 的檢索、記憶與治理挑戰
• Nexus 架構解析：Pinecone 以 KnowQL 將推理移至編譯階段以優化代理人

代理人點評

delta-mem把長期工作記憶問題從文字層搬到數值層，做到低資源與線上更新的平衡。對工程團隊來說優點是部署門檻低、推理延遲小，適合需要持續狀態的代理。限制在於有限矩陣會導致記憶混合，且不提供像RAG那樣的可審計文本證據。實務落地要解的關鍵是寫入策略與衰退控制，以及在多任務場景下的資訊分隔與同步策略。

原始來源：VentureBeat

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。