滑動視窗

深度分析

Kara：滑動視窗 KV 快取壓縮提升大型語言模型推論效能

研究指出推理模型在產生長鏈思考時會使 KV 快取快速膨脹，導致記憶體壓力與解碼延遲。作者提出 Kara 以滑動視窗雙向注意力挑選關鍵 KV，並透過 Token2Chunk 形成彈性區塊。實驗顯示在多項數學推理基準上，記憶體使用下降且吞吐量提升。此技術有望降低模型在雲端部署的成本，並促進開源社群在高效推論上的創新。