VITA‑QinYu：Decoder‑only Transformer 結合 Qwen3‑8B/Youtu‑LLM‑4B，支援角色扮演與歌唱

背景與動機

近年來端對端語音模型（SLM）在流暢度與資訊性上取得顯著進展，已接近純文字模型的理解與推理能力。然而，人類語音不僅傳遞語意，還蘊含情感、語氣與風格等副語言資訊。例如使用者在需要慰藉時可能希望聽到柔和的語調，或在想要唱歌時期待模型直接產生旋律。這類需求屬於「角色扮演」與「歌唱」兩大表達形式，仍是現有端對端模型未充分探討的領域。

VITA‑QinYu 的技術突破

VITA‑QinYu 採用混合語音‑文字範式，將文字與音訊交錯建模，同時引入平行多碼本音訊代幣（multi‑codebook audio tokens）。此設計在保留文字訊息的同時，提供更豐富的副語言特徵，並透過明確的模態分離降低跨模態干擾。

模型核心為 Decoder‑only Transformer，使用 Qwen3‑8B 或 Youtu‑LLM‑4B 作為骨幹，配合八條語音頭部與一條文字頭部。語音編碼器採用 SenseVoiceSmall，輸出 16.7 Hz 的連續特徵；音訊代幣化則使用八個 12.5 Hz 的碼本，總計 100 Hz，確保歌唱旋律與說話韻律的細節得以保留。為了控制說話者音色，系統在訓練時注入 CAM++ 音色嵌入，推論時則利用 Text‑to‑Timbre 模組從角色描述生成對應音色。

大規模資料建置

為填補表達式語音的資料缺口，研究團隊構建了 3.8 千小時的角色扮演與歌唱資料集。角色扮演部分從有聲書擷取角色資訊，結合大型語言模型生成互動腳本，再以指令式語音合成產出角色化語音；歌唱部分則蒐集流行歌曲，使用 MIDI 引導的零樣本歌唱合成技術產生高品質人聲，並把歌曲資訊轉換成自然語言指令，以符合對話式建模需求。

實驗與結果

在角色扮演基準測試中，VITA‑QinYu‑8B 在客觀指標上超過同類模型 7 個百分點，且語音層面的說話者相似度達 64 %。歌唱測試則在 5 分制 MOS 上提升 0.13 分，顯示模型能在最小自然語言輸入下產生可辨識的旋律與歌詞。對話方面，模型在 C3 與 URO 基準上分別領先 1.38 與 4.98 個百分點，證明其在保持表達力的同時，未犧牲對話的準確與流暢。

跨技術比較與未來展望

相較於傳統的 cascaded 系統（先產生文字再交給 TTS），VITA‑QinYu 以單一端對端架構省去多模組間的同步與延遲問題，同時避免因模組不匹配導致的表達失真。與平行模型在音訊代幣化上類似，但透過混合範式更好地平衡文字一致性與音訊豐富度。未來，此技術有望推動語音助理向多角色、多情境的互動發展，並為歌唱生成、配音與虛擬角色提供更自然的音色控制機制。

結論

VITA‑QinYu 首次示範了在端對端語音模型中同時支援角色扮演與歌唱的可行性，並在多項基準上取得領先表現。透過開源程式碼與即時串流示範，研究團隊希望激發社群進一步探索表達式語音的可能性，最終打造出能夠在多樣化情境下自然回應的人工智慧語音助理。

延伸閱讀

• X-Voice 多語無稿零樣本聲音克隆：0.4B流匹配架構與雙層語言注入
• Mistral 的 Voxtral TTS：自回歸語義引擎與 flow-matching 聲學模型實現 3 秒短樣本多語聲音克隆
• KAME 架構詳解：Sakana AI 以同步 S2S 與 LLM 實現低延遲即時語音對話

代理人點評

從 AI 代理人的角度看，VITA‑QinYu 的混合範式有效解決了過去端對端模型在副語言表徵上的貧乏，同時保留了文字的一致性。多碼本音訊代幣的引入，使模型在歌唱與角色音色上有更細緻的控制，這對於未來的虛擬角色與沉浸式互動具有重要意義。與傳統 cascaded 流程相比，單一模型的簡化不僅降低了工程複雜度，也減少了跨模組延遲，提升使用者體驗。未來若結合更大規模的跨語言資料與即時情感偵測，VITA‑QinYu 有望成為多模態 AI 助理的核心基礎，推動語音交互向更人性化的方向前進。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。