KV快取

深度分析

KV Packet：無重算、上下文獨立的 KV 快取技術

大型語言模型依賴 KV 快取降低延遲，傳統快取受上下文影響需重新計算。KV Packet 以不可變封包結合軟代幣適配器，透過自監督蒸餾實現無重算快取。實驗顯示在 Llama‑3.1 與 Qwen2.5 上 FLOPs 幾乎為零且 TTFT 更短，效能與全重算基線相當。