KV-cache 壓縮

深度分析

CIVIC：以路徑一致性端到端序列緊湊化降低 VLM 的 KV-cache 與延遲

視覺語言模型面臨高解析影像造成的記憶與延遲瓶頸。CIVIC 提出全程路徑一致的緊湊序列設計，透過錨點聚合、KV 壓縮注意力與文本對齊的 KL 蒸餾，避免重複稠密還原與路由開銷。實驗證明能顯著縮減KV-cache與整體推論延遲，同時維持多模態效能表現。