新穎性閘注意力

深度分析

新穎性閘注意力與可審核工作記憶：突破傳統 Token 記憶瓶頸的上下文工程

研究聚焦於長串冗餘資訊的上下文管理，提出新穎性閘注意力與內容尋址快取相結合的工作記憶。此機制僅保留獨特項目，將記憶規模與資訊多樣性掛鉤。實驗顯示在多領域資料流上，效能媲美全注意力且成本減半，預示未來 AI 系統可更有效率地處理大規模上下文。相較於傳統窗口或重複刪除策略，它在保持關鍵資訊上更具優勢。