語音對齊

速報

多模態大型語言模型的 Shapley 解釋新框架：結合文字與音訊特徵

本研究針對多模態大型語言模型（MLLM）提出一套擴充的 Shapley 值解釋方法，將文字 token 與音訊片段視為合作特徵。為因應跨通道依賴與計算成本，作者結合精確計算與蒙特卡羅抽樣，並使用 Neyman 配置降低變異。