LLM 會話記憶

深度分析

TokenMizer：圖式長程 LLM 會話記憶與多層上下文壓縮技術解析

LLM長期互動受限於上下文窗口，TokenMizer以知識圖保存會話結構，經多層壓縮與語意快取將摘要縮至約78令牌，提升決策與檔案回溯率。相較於純文字摘要，它保留決策原因與檔案關聯，對跨裝置協同開發具彈性，預示在邊緣與雲端協同推理上可降低成本與能耗。