深度分析
新穎性閘注意力與可審核工作記憶：突破傳統 Token 記憶瓶頸的上下文工程
研究聚焦於長串冗餘資訊的上下文管理，提出新穎性閘注意力與內容尋址快取相結合的工作記憶。此機制僅保留獨特項目，將記憶規模與資訊多樣性掛鉤。實驗顯示在多領域資料流上，效能媲美全注意力且成本減半，預示未來 AI 系統可更有效率地處理大規模上下文。相較於傳統窗口或重複刪除策略，它在保持關鍵資訊上更具優勢。
深度分析
研究聚焦於長串冗餘資訊的上下文管理，提出新穎性閘注意力與內容尋址快取相結合的工作記憶。此機制僅保留獨特項目，將記憶規模與資訊多樣性掛鉤。實驗顯示在多領域資料流上，效能媲美全注意力且成本減半，預示未來 AI 系統可更有效率地處理大規模上下文。相較於傳統窗口或重複刪除策略，它在保持關鍵資訊上更具優勢。
深度分析
HeavySkill提出將「重度思考」（heavy thinking）視為可內化於大型語言模型參數內的技能，而非僅靠外部編排器的執行單元。框架把推理拆成並行生成多條推理軌跡，接著以序列化審議（summarization/sequential deliberation）聚合與精煉結果，並以記憶快取支援反覆審議。