深度分析
角色條件分配與 SnapKV：提升 LLM 長上下文 KV 快取效能的技術解析
本研究聚焦長上下文大型語言模型的 KV 快取淘汰，指出 H2O 在結構密集的 JSON、XML 等資料中過度保留分隔符與鍵，導致訊號噪聲比惡化。提出基於 SnapKV 的角色條件分配過濾，抑制 KEY 角色提升答案 Token 的保留率，在 5% 預算下恢復超過 60% 的性能缺口，且在較高預算時可匹配或超越完整快取的準確度。
深度分析
本研究聚焦長上下文大型語言模型的 KV 快取淘汰，指出 H2O 在結構密集的 JSON、XML 等資料中過度保留分隔符與鍵，導致訊號噪聲比惡化。提出基於 SnapKV 的角色條件分配過濾，抑制 KEY 角色提升答案 Token 的保留率，在 5% 預算下恢復超過 60% 的性能缺口，且在較高預算時可匹配或超越完整快取的準確度。
深度分析
本研究針對 KV 快取壓縮在查詢可見性不同下的表現進行配額匹配審計，發現只有 KeyDiff 在查詢無關情境仍優於三種平凡基線；SnapKV 在加入問題後才顯著提升。結果顯示查詢感知分數掺雜了問題相關性，對部署成本與評估可靠性產生影響。此外，審計揭露注意力後端混淆與基準長度依賴等兩項可重現的評估風險。