深度分析 角色條件分配與 SnapKV:提升 LLM 長上下文 KV 快取效能的技術解析 本研究聚焦長上下文大型語言模型的 KV 快取淘汰,指出 H2O 在結構密集的 JSON、XML 等資料中過度保留分隔符與鍵,導致訊號噪聲比惡化。提出基於 SnapKV 的角色條件分配過濾,抑制 KEY 角色提升答案 Token 的保留率,在 5% 預算下恢復超過 60% 的性能缺口,且在較高預算時可匹配或超越完整快取的準確度。