深度分析
「光譜感受度定理」揭示 Whisper 系列模型的 ASR 幻覺機制
研究指出,隨著 Whisper 系列模型規模放大,幻覺現象會由訊號散佈轉為吸引子動態。透過光譜感受度定理與光譜傳播不穩定框架,分析跨注意力與自注意力的特徵譜變化。結果顯示,小型模型出現結構解體,大型模型則進入壓縮吸引子狀態,對未來語音辨識安全性提出警示。
深度分析
研究指出,隨著 Whisper 系列模型規模放大,幻覺現象會由訊號散佈轉為吸引子動態。透過光譜感受度定理與光譜傳播不穩定框架,分析跨注意力與自注意力的特徵譜變化。結果顯示,小型模型出現結構解體,大型模型則進入壓縮吸引子狀態,對未來語音辨識安全性提出警示。
深度分析
本研究探討大型語音辨識模型的幻覺問題,提出光譜敏感性定理說明層級增益與對齊如何導致從訊號衰減到秩-1 吸引的相變。實驗顯示中等規模模型出現結構解體,跨注意力秩下降13.4%,大型模型則進入壓縮吸引態,Self‑Attention 壓縮秩-2.34%並削弱聲音依賴。