滑動視窗注意力

速報

SWARR：滑動視窗注意力加強學習提升長上下文數學推理效能

隨著推理型大型語言模型需求增加，傳統自注意力在長上下文下的計算成本呈二次方成長。