注意力不變性

深度分析

基於注意力不變性的 SIFT 技術：加速 RAG 首 Token 時間的稀疏注意力方案

研究顯示，RAG生成因文件重複導致算力浪費，SIFT透過離線分析注意力不變性，只儲存高注意力位置的位元向量，於推論時稀疏計算，提升首 token 時間最高1.71倍，且精度損失不到1%。此方法減少KV快取磁碟讀寫，僅佔原始資料千分之一，適用於大型模型的即時服務。