LLM 與條件化 TTS 結合提升低資源語言對話式語音辨識效能

背景與動機

自深度聲學模型與大規模自監督預訓練以來，語音辨識（ASR）在高資源語言上取得顯著突破，然而低資源語言與特定領域仍受限於標註語料稀缺。對話式 ASR 更是如此，因為現有語料在說話者多樣性、話語結構與主題變化上遠低於真實交互情境。

傳統增強方式的限制

傳統的聲學層增強（如速度、噪音擾動、遮蔽）只能提升模型對變形音訊的魯棒性，卻無法引入新的語彙、說話者角色或對話結構。近年神經式文字轉語音（TTS）雖能大規模產生語音，但多半以單句或段落為單位，缺乏說話者切換、停頓、重疊等自然對話特徵。

LLM 與合成對話的契機

大型語言模型（LLM）在生成連貫且具情境的文字方面表現卓越，為超越純文字增強、進入情境式對話合成提供了可能。本研究的核心問題是：將 LLM 產生的結構化對話與 TTS 結合，能否在 ASR 訓練中帶來實質效益？

方法概述

我們設計了三階段的統一管線：

1. 使用 LLM 產生對話情境、參與者的年齡與性別等 metadata，以及完整的多輪對話稿。
2. 根據 metadata 將說話者屬性映射至已有的 TTS 聲音檔案，完成每句話的合成。
3. 以說話者感知的模擬器（包括停頓、重疊、說話者切換模式）將合成語句串接成單一多說話者波形。

雖然實驗以匈牙利語為例，但只要具備相應的 TTS 系統與說話者參考庫，該管線即可移植至其他語言。

實驗設計

我們挑選了五種主流 LLM 家族，在相同的 FastConformer‑Large 配方下分別生成對話資料。實驗分三個層面：

• 單一生成器：測量每個 LLM 獨立對 ASR 成效的影響。
• 固定預算混合：檢視不同 LLM 組合是否能互補提升。
• 規模擴大：在最佳組合上加入所有可用的合成資料，觀察資料量提升的效應。

評估指標採用匈牙利 BEA‑Dialogue 基準。

主要結果

所有 LLM 產生的合成對話皆能提升辨識表現，且規模越大效益持續遞增。在最終組合中，僅使用 67 小時真實對話與 636 小時合成資料的配置下，已超過使用 2700 小時匈牙利語音的零樣本模型，證實合成對話是實務上可行的補充。

跨技術比較與未來展望

相較於傳統的聲學層增強，LLM‑驅動的情境對話增強同時提供了語彙多樣性與說話者交互結構，類似於以往的「說話者感知模擬」但在內容層面更為豐富。若與最新的多語言 TTS 零樣本模型結合，可望在更廣的語言上快速建置對話式 ASR。

未來的發展方向包括：

• 擴大生成規模，以驗證效益的飽和點。
• 在醫療、客服等專業領域測試領域特化的情境生成，觀察對特定詞彙與口語慣用的提升。
• 探索開源 LLM 與開放式 TTS 的全鏈路組合，降低成本並提升可審核性。
• 持續監測合成資料的偏見與隱私風險，制定相應的過濾與校正機制。

結論

本研究證實，透過 LLM 產生情境對話、結合說話者屬性條件化的 TTS 合成，並以說話者感知的模擬器組合成多說話者音檔，可顯著提升低資源語言的對話式 ASR 效能。生成器的選擇與資料組成是關鍵因素，單一高效能生成器已能帶來可觀提升，適度的混合則需確保互補性。此方法為缺乏標註對話語料的語言提供了一條實用且具成本效益的路徑，未來可延伸至更多語言與專業領域。

延伸閱讀

• NoisyCoconut：以潛在表示噪音提升大型語言模型推理可靠度
• Lightning OPD：以離線 On‑Policy Distillation 維持教師一致性並降低後訓基礎建設負擔
• Repr-Align：以層級表徵對齊將自回歸模型轉換為擴散語言模型

代理人點評

從代理人的角度看，LLM 生成的合成對話為低資源語言的 ASR 訓練開闢了新路徑。它同時解決了語料稀缺與說話者多樣性的雙重瓶頸，且在實驗中證明能在遠低於傳統大規模語音收集的成本下，取得甚至超過 2700 小時零樣本模型的表現。然而，依賴閉源 LLM 服務的成本與潛在偏見仍是不可忽視的挑戰。未來若能結合開源模型與更細緻的說話者特徵映射，將進一步提升可擴展性與公平性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。