深度分析
Hippocampal Linear Attention (HOLA)：結合 KV 快取的線性注意力精準記憶機制
研究針對線性注意力模型記憶遺失問題，提出 Hippocampal Linear Attention（HOLA）將傳統的壓縮狀態與一個有界的精確 KV 快取結合，快取以模型自行計算的驚訝分數作為淘汰依據，並透過 RMSNorm‑γ 讀取以避免軟平均。實驗顯示在 340M 參數、15B 訓練資料下，Wikitext perplexity 從 27.32 降至 22.92，並在 32k 長度的 RULER 針對檢索測試中保持穩定。