SurfaceLogicKV

深度分析

SurfaceLogicKV：基於表面記憶與邏輯建構的雙層 KV 快取自適應壓縮技術

隨著大型語言模型輸入長度持續增長，KV快取記憶體需求急升。研究提出SurfaceLogicKV，透過將注意力行為分為表面記憶與邏輯建構，於層與頭級別動態分配快取預算。實驗顯示在多項長序列任務上，壓縮後的效能與FullKV相當，甚至在部分測試中超越。