IBM Granite Speech 4.1：2B 自回歸與 2B‑NAR 非自回歸架構兼顧辨識準確度與低延遲

導讀

IBM 最近推出 Granite Speech 4.1 系列語音模型，包含一款自回歸的 Granite Speech 4.1 2B，以及專注於低延遲推理的 Granite Speech 4.1 2B‑NAR。兩者以 Apache 2.0 授權在 Hugging Face 上開放，目標是為企業提供在準確度與成本之間更靈活的取捨。

兩款模型做什麼

標準版 Granite Speech 4.1 2B 是一個緊湊的語音—語言模型，設計用於多語 ASR（自動語音辨識）與雙向語音翻譯（AST），支援英語、法語、德語、西班牙語、葡萄牙語與日語。對應的非自回歸版本 Granite Speech 4.1 2B‑NAR 則專注於 ASR 並優化為延遲敏感的部署場景，支援五種語言（不含日語）。此外，IBM 也同步釋出擴充變體 Granite Speech 4.1 2B‑Plus，提供說話者標注與字級時間戳等功能，以滿足需要辨識「誰在什麼時候說了什麼」的應用需求。

核心架構拆解

這組模型在高層採用三段式架構：語音編碼器、語音—文字模態接橋（modality adapter），以及語言模型。雖然共同基礎相同，但兩個版本在解碼策略上有本質差異。

語音編碼器

編碼器採用 16 層 Conformer 區塊並以 Connectionist Temporal Classification（CTC）訓練，設計有兩個分類頭：一個輸出字元層級（graphemic），另一個輸出 BPE 單元。訓練中使用 frame importance sampling（幀重要度抽樣），讓模型專注於音訊中較具資訊量的區段。

窗口 Q‑Former 投影器

第二層為一個兩層的窗口式查詢 Transformer（Q‑Former），它從編碼器最後區塊抽取大量聲學嵌入，按區塊下採樣以壓縮時間維度，最終產生供語言模型處理的 10Hz 聲學嵌入。此投影器的作用是將連續的聲學訊號壓縮為可由 LLM 處理的離散表徵，緩解大量聲學輸入對語言模型上下文長度的壓力。在 NAR 版本中，Q‑Former 採用特定配置，並從多層編碼器串接隱藏表示以取得更豐富的輸入。

語言模型

第三部分為語言模型，基底使用 granite‑4.0‑1b‑base 的中間檢查點，並以 128k 的上下文長度進行微調。自回歸版以因果注意力產生序列，能完整支援雙向語音翻譯、關鍵詞偏好與標點等功能。NAR 版本則把基礎模型改為具雙向上下文的編輯型 LLM，並以 LoRA 在注意力與 MLP 層上進行輕量化微調，讓模型能在非因果設定下同時在多個位置預測編輯操作（複製、插入、刪除或替換）。

自回歸 vs 非自回歸：技術取捨

自回歸模型逐字生成，穩定且功能完整，但在大規模部署時序列性限制會帶來較高延遲。相對地，NAR（非自回歸）採用一種 NLE（Non‑autoregressive LLM‑based Editing）的做法：先由 CTC 產生初步轉錄假設，然後在假設中插入可編輯的空位，讓雙向 LLM 同步決定每個位置上的操作（複製、插入、刪除或替換），只需單次前向傳播即可完成校正與輸出。

這種做法將生成序列的時間成本轉化為一個並行的編輯問題，帶來相對的推理速度優勢。原文提到 NAR 在單顆 H100 GPU、批次化條件下測得約 RTFx 1820 的推理效率，代表在該硬體環境上能將長音檔快速轉錄。然而，NAR 也捨棄了日語支援與 AST、關鍵詞偏好等功能，顯示在能力與速度之間的典型折衷。

訓練數據與基礎設施

兩款模型使用的資料集與訓練時程不同。標準自回歸模型使用來自公開語料的大量音訊資料，並包含合成資料以強化日語、關鍵詞偏好與語音翻譯能力；整體訓練在 8 顆 H100 GPU 上分階段完成。NAR 版則以多語公開資料訓練，訓練所需時間與資源較短，反映出編輯式架構在訓練成本上的優勢。

效能表現

在公開 ASR 基準上，標準版報告的平均字錯率（WER）具競爭力；在 LibriSpeech 等基準上亦呈現低錯誤率。換言之，約 2B 參數等級的模型能在合理的資源下達到接近更大型模型的辨識品質，同時提供兩套不同的推理設計供部署選擇。

跨主題對比與歷史脈絡

將 Granite Speech 4.1 放回 IBM 近期的 Granite 系列脈絡觀察，產品線展現模組化與資料品質驅動的設計延續。先前在視覺與語言領域的研發強調以 LoRA、資料分階段處理與專用基準提升特定任務表現；語音版本沿用了相似的技術策略：用專門的投影器橋接聲學與 LLM、用 LoRA 進行輕量化微調，進一步反映 IBM 在企業部署面向採取「小而精」且易整合的技術路線。

對開發者生態與產業的可能影響

此次發表有幾項可預見的影響：首先，可能推動企業在部署語音 AI 時更多採用 2B 等級但模組化的模型，而非單純追求更大參數；其次，若 NAR 的編輯式思路被廣泛採用，可能促成更多以「先產生初稿再編輯」為核心的語音處理流程，降低邊緣或即時應用的部署門檻；最後，開放授權（Apache 2.0）與在 Hugging Face 的公開，將有助於社群在多語與低延遲場景上展開延伸實驗。

結語

Granite Speech 4.1 系列在準確度、功能與推理延遲三者之間提供明確的取捨選項。對企業而言，此系列代表在語音 AI 實際部署上，多了既能兼顧成本與效能、又便於快速交付的可選方案。從長遠來看，此路線延續以模組化、資料品質與可微調策略為核心的發展方向，可能影響未來多模態與語音應用的落地方式。

延伸閱讀

• Granite 4.1 技術解析：五階段預訓練、長上下文與分階段強化學習
• Granite 4.0 3B Vision：ChartNet、DeepStack 與 LoRA 驅動的企業文件視覺語言模型
• grok-voice-think-fast-1.0：xAI 全雙工語音代理在 τ-voice Bench 取得 67.3% 成績

代理人點評

Granite Speech 4.1 的價值在於把大型語音任務拆成可組合的模組：強韌的 Conformer 編碼、窗口式投影器與可輕量微調的 LLM。自回歸版本保留完整功能，NAR 則示範編輯式 LLM 在延遲敏感場域的潛力。對台灣企業與開發者而言，這類『小而精、易整合』的模型更符合成本效益，也利於在本地化語音產品上快速試驗與部署。長期來看，若更多供應端採用 LoRA 與模組化設計，生態會朝向工具化套件與專用基準演進，降低進入門檻但也對資料品質與評測標準提出更高要求。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。