Transformer 記憶體優化

深度分析

不同資料分布下 TurboQuant 與 SpectralQuant KV 壓縮方案的實驗驗證

在大型Transformer推論中，KV快取記憶體是瓶頸。研究比較資料無關的TurboQuant與資料自適應的SpectralQuant，測試多種量化技術。結果顯示，重尾資料下TurboQuant表現更佳，結構化資料在足夠位元預算時SpectralQuant優於前者。