深度分析
不同資料分布下 TurboQuant 與 SpectralQuant KV 壓縮方案的實驗驗證
在大型Transformer推論中，KV快取記憶體是瓶頸。研究比較資料無關的TurboQuant與資料自適應的SpectralQuant，測試多種量化技術。結果顯示，重尾資料下TurboQuant表現更佳，結構化資料在足夠位元預算時SpectralQuant優於前者。
深度分析
在大型Transformer推論中，KV快取記憶體是瓶頸。研究比較資料無關的TurboQuant與資料自適應的SpectralQuant，測試多種量化技術。結果顯示，重尾資料下TurboQuant表現更佳，結構化資料在足夠位元預算時SpectralQuant優於前者。
深度分析
隨著大型語言模型的上下文長度與同時使用者數提升，KV 快取成為記憶瓶頸。研究提出 H2O、SnapKV、KIVI、TurboQuant 等十種壓縮手法，分別透過代幣淘汰、量化或低秩投影降低記憶需求。實驗顯示可將快取佔用減少超過 80%，提升批次大小與吞吐量。