Blurry Window Attention

深度分析

利用傅立葉模式提升線性注意力：Blurry Window Attention 方法解析

Transformer在長序列上因二次複雜度受限，研究提出BlurryWindowAttention以傅立葉模式存儲鍵值，透過Dirichlet核模糊插值重建歷史，實驗顯示其狀態效率顯著比滑動視窗提升8倍，且在記憶密集任務中表現與主流線性模型相當。