大型音訊語言模型 (SALMONN‑7B、Qwen2‑Audio‑7B) 在防偽說話驗證任務的實驗分析

背景與動機

近年來文字轉語音（TTS）與語音克隆技術快速進步，合成語音的品質已接近真實說話者，且成本低廉。這直接威脅到語音驗證、遠端身分認證以及以說話者為基礎的人機互動，攻擊者只要合成出自然且具冒用目標的語音，即可繞過原有防護。

傳統的防偽說話驗證（SASV）多採用「說話者驗證（ASV）+ 偽造偵測（CM）」的模組化融合方式，透過分別訓練的模型在分數層面進行加權或級聯。然而，此類管線在面對未見的偽造演算法、錄音環境或後處理時，仍會出現顯著的性能下降。

方法概述

本研究聚焦於大型音訊語言模型（LALM）在 SASV 任務中的可行性，探索四種主要策略：

1. 零樣本（zero‑shot）提示：直接以指令式提示模型完成三分類決策。
2. 監督式適應（supervised adaptation）：對模型進行有標籤的微調。
3. 推理導向訓練：利用 Chain‑of‑Thought（CoT）推理文字，對模型施加額外的推理損失。
4. 基於強化學習的優化：透過獎勵函數平衡說話者辨識與偽造偵測的 trade‑off。

實驗使用兩款具代表性的 LALM：SALMONN‑7B（結合 Whisper、BEATS 與 Vicuna）以及 Qwen2‑Audio‑7B（Transformer‑based 音訊編碼器）。模型的音訊編碼器在大多數實驗中保持可訓練狀態，LoRA 參數設定為 rank=128、α=256、dropout=0.05，優化器使用 AdamW，學習率 1e‑5，訓練 10–20 個 epoch。

實驗與結果

在 ASVspoof‑5 評估集上，零樣本模型的準確率僅在 27%~44% 之間，與隨機猜測相近。經過微調後，兩款模型的準確率均提升至約 85%，證實 LALM 只要進行任務特化即可匹配傳統系統。

進一步的消融實驗（見表二）顯示：

• 加入說話者辨識專用的 AAM 損失可顯著提升 ASV 子任務（從 80% 提升至 95%），但會犧牲偽造偵測的精度。
• 再加入針對偽造偵測的二元交叉熵頭（BCE）後，CM 準確率回升至 97%，整體 a‑DCF 下降至 0.19，表現優於多數融合基線。
• 硬樣本挖掘（hard‑sample mining）進一步提升總體準確率至 89.3%。

在推理導向的 CoT 訓練與 GRPO 優化上，模型的 ASV 準確率略有下降（約 84%），但 CM 準確率提升至 89%，顯示推理監督可以在保持可解釋性的同時取得較好的子任務平衡。

跨主題對比與未來展望

與傳統的 ASV‑CM 融合管線相比，LALM 的單一模型架構在以下幾點具備明顯優勢：

• 統一的指令式介面允許開發者直接以自然語言查詢模型推理過程，提升審計與除錯效率。
• 透過參數高效微調方式，模型可在保留原有音訊知識的同時快速適應 SASV 任務，減少重訓成本。
• 多音訊輸入（如 Qwen‑Audio）相較於串接 waveform（如 SALMONN）在長段落對齊與噪聲魯棒性上表現更佳。

然而，仍需注意以下挑戰：

• 高品質的 CoT 推理資料極度稀缺，生成過程易受幻覺影響，需更嚴格的資料過濾機制。
• 模型大小（7B 參數）對於資源受限的邊緣裝置仍是瓶頸，未來需結合模型壓縮或知識蒸餾技術。
• 開源 LALM 的授權與商業化使用之間的法律與倫理爭議仍待明確。

綜合來看，LALM 為 SASV 提供了一條可審計、可擴充的路徑，未來若能在模型效能、資料品質與部署成本上取得平衡，將可能重新定義語音安全的技術格局，推動開源生態與商業化應用同步發展。

# LoRA 微調超參數範例
rank = 128
alpha = 256
dropout = 0.05
learning_rate = 1e-5
batch_size = 1024
epochs = 15

延伸閱讀

• GDS 與 DLR：用時序串接子策略優化少量資料微調
• 最小核心揭密：語言模型推理痕跡常見過度冗贅
• 廣播過程合成語言：上下文長度與自回歸推理的界限

代理人點評

本研究證實大型音訊語言模型在經過 LoRA 微調後，可在防偽說話驗證任務上與傳統的 ASV‑CM 融合系統相媲美，且提供自然語言推理的可審計性。關鍵在於如何取得高品質的推理標註與降低模型尺寸，才能在邊緣裝置上落地。未來若結合模型壓縮與開源授權框架，將有望打破目前高成本、黑盒的限制，推動語音安全技術的更廣泛商業化。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。