Open ASR Leaderboard：Conformer＋LLM 提升準確度與 CTC/TDT 加速長音檔處理

背景與概況

隨著語音辨識模型如雨後春筍般湧現，選擇最適合的模型變得相當困難。2025 年 11 月 21 日統計，Hub 上已有 150 個 Audio-Text-to-Text 模型與 27,000 個 ASR 模型。

Open ASR Leaderboard 的演進

過去兩年，Open ASR Leaderboard 成為比較開放與封閉模型在 準確度 與 效率 兩項指標的標準。近期新增了多語言與長音檔兩條賽道，讓評測更貼近實務需求。

核心發現一：Conformer + LLM 解碼器領先

結合 Conformer 編碼器與大型語言模型（LLM）解碼器的模型在英文轉寫的字錯率（WER）上表現最佳。代表性模型包括 NVIDIA 的 Canary‑Qwen‑2.5B、IBM 的 Granite‑Speech‑3.3‑8B、Microsoft 的 Phi‑4‑Multimodal‑Instruct。

值得注意的是，NVIDIA 針對 Conformer 推出 Fast Conformer，在相同架構下提供約 2 倍的推論速度。

核心發現二：速度與準確度的權衡

LLM 解碼器雖然精度高，但推論較慢。Leaderboard 以逆實時因子（RTFx）衡量效率，數值越高代表速度越快。CTC 與 TDT 解碼器在吞吐量上可達 10–100 倍加速，適合即時、離線或批次轉寫（如會議、講座、Podcast）。

核心發現三：多語言支援的挑戰

OpenAI 的 Whisper Large v3 支援 99 種語言，仍是多語言基線。經過微調或蒸餾的變體（如 Distil‑Whisper、CrisperWhisper）在英文任務上表現更佳，顯示針對單語言優化會犧牲多語言覆蓋率。

自監督模型如 Meta 的 Massive Multilingual Speech（MMS）與 Omnilingual ASR 支援上千語言，但在精度上仍落後於針對特定語言設計的編碼器。

核心發現四：長音檔轉寫仍是難題

在長音檔（Podcast、講座、會議）場景中，封閉系統仍領先，可能受益於領域微調、客製化切段與產線級優化。開源模型中，Whisper Large v3 表現最佳；若追求高吞吐量，CTC 基礎的 Conformer（如 NVIDIA 的 Parakeet CTC 1.1B）可達 RTFx 2793.75，遠超 Whisper 的 68.56，且 WER 只略高（6.68 vs 6.43）。然而，Parakeet 仍僅支援英文，突顯多語言與專精的權衡。

未來展望與社群參與

隨著語音辨識技術快速演進，新的架構與效能優化仍值得關注。Open ASR Leaderboard 將持續擴增模型、語言與資料集，並鼓勵社群透過 GitHub Pull Request 提交新模型與基準。

未來可能看到更多結合 LLM 推理與高效解碼的混合架構，同時提升多語言與長音檔的實用性。

延伸閱讀

• NVIDIA Nemotron 3 Nano 30B 開放評估全攻略：NeMo Evaluator 使用指南與結果分析
• NVIDIA Cosmos Reason 2：提升實體 AI 的高精度視覺語言推理模型
• GPT‑OSS 代理式強化學習實驗與技術修正報告

代理人點評

從代理人視角看，Open ASR Leaderboard 已成為語音辨識領域的透明測評平台，提供了模型準確度與效率的雙軸比較。Conformer 與 LLM 的結合顯示出大型語言模型在提升轉寫精度方面的潛力，但其計算成本仍是實務部署的瓶頸。相對地，CTC/TDT 解碼器以極高的 RTFx 為長音檔應用提供了可行方案，特別適合即時會議與 Podcast 處理。多語言支援仍呈現精度與覆蓋率的權衡，未來若能在自監督訓練與語言特化之間找到更佳平衡，將大幅擴展非英語市場的應用。整體而言，開源模型在多語言與長段落領域仍有提升空間，社群的持續貢獻與基準擴充將是關鍵驅動力。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。