深度分析
音訊分離基礎模型注意力機制分析：因果探測與 LSAC 技術
隨著流匹配Transformer在音訊分離上表現優異，研究者透過因果干預在推論階段對SAMAudio進行正交探測，發現文字條件分為加法注入與交叉注意力兩條路徑；加法負責語意識別，交叉注意力塑造聲音細節。基於層級非同步收斂，提出無需再訓練的LSAC快取機制，可減少約25%的注意力計算，品質損失極小。
深度分析
隨著流匹配Transformer在音訊分離上表現優異，研究者透過因果干預在推論階段對SAMAudio進行正交探測，發現文字條件分為加法注入與交叉注意力兩條路徑；加法負責語意識別，交叉注意力塑造聲音細節。基於層級非同步收斂，提出無需再訓練的LSAC快取機制，可減少約25%的注意力計算，品質損失極小。
深度分析
研究團隊將稀疏自編碼器（Sparse Autoencoders, SAE）擴展到生產級語言模型 Claude 3 Sonnet，嘗試從中分解出可解釋的「特徵向量」。作者以字典學習為基礎，訓練出上千萬級的特徵維度，並用自動化與人工檢驗方法檢視特徵的專一性與對模型行為的因果影響。