層選注意力快取

深度分析

音訊分離基礎模型注意力機制分析：因果探測與 LSAC 技術

隨著流匹配Transformer在音訊分離上表現優異，研究者透過因果干預在推論階段對SAMAudio進行正交探測，發現文字條件分為加法注入與交叉注意力兩條路徑；加法負責語意識別，交叉注意力塑造聲音細節。基於層級非同步收斂，提出無需再訓練的LSAC快取機制，可減少約25%的注意力計算，品質損失極小。