CAMEL 校正：緩解代理式記憶帶來的虛假關聯風險

要點

代理式記憶讓大型語言模型跨窗保留資訊、強化後續決策，但也會將錯誤關聯的記憶帶入推理，形成新風險。

研究與發現

研究團隊以因果結構為基礎，定義並基準化數種虛假關聯模式，並在軌跡層級的記憶資料上記錄這些模式。診斷結果顯示，記憶能在乾淨輸入上改善推理，卻在含有虛假訊號時放大對錯誤模式的依賴，導致錯誤推論被擴散到下游決策。

解法：CAMEL

為了抑制這類錯誤依賴，作者提出CAMEL，一種可插拔的校正方法，於寫入與檢索兩階段同時運作。實驗發現CAMEL在各種記憶架構上都能降低對三類虛假關聯模式的依賴，同時維持或改善乾淨輸入時的表現，且面對針對校正的適應性攻擊仍具一定穩健性，提供一條輕量且有原則的記憶部署方案。

延伸閱讀

• 模型合併新架構：C2M3、TSV 與 MERGE3 將已學習能力直接組合
• LEAP：在蒸餾訓練中導入早停感知以恢復嵌入模型延遲優勢
• Caracal：以多頭傅立葉（MHF）與頻域因果遮罩實現長序列 O(L log L) 全局混合

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。