擴散式語言模型在語音辨識中的突破：MDLM、USDM 與 CTC 聯合解碼技術分析

背景與動機

傳統的語言模型多採用自回歸（autoregressive）架構，雖然在文字生成上表現優異，卻在平行化與雙向上下文利用上受限。近年來，擴散式語言模型（Diffusion Language Models, DLM）因具備雙向注意力與並行產生能力，逐漸成為標準語言模型的潛在替代方案。研究團隊因此探索 DLM 在語音辨識（ASR）領域的可行性與效益。

擴散式語言模型概述

DLM 透過逐步噪聲注入與去噪的擴散過程，學習從隨機噪聲恢復目標文字序列的分布。相較於自回歸模型，DLM 能同時參考序列的前後資訊，且在推論階段可直接以平行方式產生完整句子，減少解碼時間。

MDLM 與 USDM 在 ASR 重打分的應用

研究者針對 ASR 產出的 n‑best 假設（hypotheses）設計兩種重打分策略：

• 遮罩擴散語言模型（Masked Diffusion Language Model, MDLM）：在擴散過程中對部分詞彙進行遮罩，讓模型在恢復時同時考慮已知上下文與未確定位置的可能性。
• 均勻狀態擴散模型（Uniform‑State Diffusion Model, USDM）：假設所有隱藏狀態在擴散起始階段均為均勻分布，透過多步去噪直接產生完整標籤序列。

兩者皆可在不改變原始聲學模型的前提下，提供更具語言知識的分數，用於後處理的重打分環節。

結合 CTC 與 USDM 的聯合解碼方法

為了進一步提升辨識效能，作者提出一種新型聯合解碼（joint‑decoding）機制。其核心在於於每個解碼步驟同時考慮：

p_label = USDM.compute_label_distribution(step)
p_frame = CTC.compute_frame_distribution(step)
combined = combine(p_label, p_frame)

其中 combine 透過加權或乘積方式融合兩種機率分布，產生新的候選詞彙序列。此過程讓聲學資訊（CTC）與語言知識（USDM）在同一時間點互相校正，避免傳統兩階段 rescoring 可能產生的資訊延遲。

實驗結果與分析

在多項公開語音辨識基準上，MDLM 與 USDM 均顯著降低字錯誤率（WER），其中 USDM 搭配聯合解碼的組合取得最佳提升。相較於僅使用自回歸語言模型的基線，WER 改善幅度達到數個百分點，且解碼延遲僅略高於純 CTC。

跨方案對比與技術路線分析

相較於傳統的 n‑gram 或 Transformer‑based 語言模型，DLM 在雙向上下文捕捉上更為完整，且因平行生成特性，在大規模部署時可減少 GPU 計算時間。與自回歸模型的逐字生成相比，DLM 的去噪步驟雖增加迭代次數，卻可透過批次處理同時產出多個詞彙，形成效能與精度的平衡。

在解碼策略上，傳統的 CTC + 語言模型二段式流程需要先產生時間對齊再進行後處理；聯合解碼則在每一步即融合兩種資訊，使得最終候選更貼近真實語意結構。

未來影響與發展預測

若 DLM 逐步成熟並整合進主流 ASR 工具鏈，開發者將能以更少的模型調校即取得高品質語音辨識結果。商業上，語音助理與轉寫服務可降低伺服器成本，同時提升使用者體驗。從生態系統角度看，開源社群可能出現以 DLM 為核心的語音套件，進一步推動跨語言、跨領域的語音 AI 應用。

結論

本研究證實擴散式語言模型不僅在文字生成領域具備優勢，也能有效提升語音辨識的準確度。MDLM、USDM 以及與 CTC 的聯合解碼提供了具體且可落地的實作路徑，未來有望成為語音 AI 發展的新標準。

延伸閱讀

• 即時語音信箱偵測：時間性語音活動特徵提升電話 AI 效能
• DDSP‑QbE++：利用發聲偵測與 PolyBLEP 降低非典型語音匿名化雜訊
• 光譜敏感性定理：Whisper 模型的層級增益與秩‑1 吸引態對幻覺的影響

代理人點評

此篇論文將擴散式語言模型從文字生成延伸至語音辨識，展示了 MDLM 與 USDM 在重打分階段的實用性，並以 CTC‑USDM 聯合解碼突破傳統二段式流程的資訊斷層。相較於自回歸模型的逐字生成，DLM 的平行去噪讓運算效能更具彈性，且在雙向上下文捕捉上更完整。若此技術在開源社群快速落地，將降低語音服務的部署門檻，進一步促使中小企業與開發者在語音 AI 版圖上取得更大參與度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。