DYNA：以時間知識圖增強大型語言模型的即時記憶
大型語言模型在加入新知識時常會遺忘或需高成本再訓練。研究者開發 DYNA，將凍結的模型與時間知識圖結合，利用隨機遊走與中心性選取相關節點，於回應時補充資訊。實驗顯示，與微調比較可減少約 7% 的遺忘，且在時間排序上提升約 5%。圖的聚類係數與檢索表現正相關，顯示圖結構影響記憶效果。
背景與挑戰
大型語言模型（LLM）在需要即時更新知識時，往往會出現災難性遺忘，或必須透過昂貴的再訓練程序才能吸收新資訊，這對實務應用造成障礙。
DYNA 框架概述
DYNA 提出一個輕量化的解決方案：將凍結的 LLM 與一個時間知識圖（Temporal Knowledge Graph）結合。圖中以事件作為節點，時間關係則以帶時間戳記的有向邊呈現，成為可隨時更新的外部記憶庫。
在使用者提出查詢時，DYNA 會透過隨機遊走（random walk）與中心性測度（centrality measures）挑選與問題相關的圖節點，然後將這些資訊注入 LLM 的回應過程中，達到即時增強的效果。
實驗與成效
研究在三項時間回憶任務上進行測試，結果顯示 DYNA 相較於傳統微調（fine‑tuning）可減少約 7% 的災難性遺忘，且在時間排序（temporal ordering）方面較標準的檢索增強生成（RAG）提升約 5%。此外，圖的聚類係數（clustering coefficient）與檢索成功率呈正相關，說明圖的結構特性對記憶檢索品質具有重要影響。
貢獻重點
- 將時間知識圖作為 LLM 的情境記憶來源。
- 提供無需再訓練的模型增強方式。
- 驗證圖結構指標可預測檢索效能。
延伸閱讀
- 多代理LLM在陪審團式審議的實驗：RLHF強度如何影響定錨與共識形成
- Truth or Tribe：LLM人格代理、TDR與TC揭示身分偏誤機制
- 階層化多重人物歸納與證據追溯：以意圖記憶與 DPO 優化人物品質
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
