TiCo：透過 STM 與 RLVR 為語音對話模型加入時間可控性

導言：語音對話模型（SDM）在真實應用中，除了要理解與回應使用者外，回應的時長也常被視為關鍵限制。例如車用語音更新、穿戴裝置上的短回饋或緊急醫療指示，系統必須在時限內傳遞關鍵資訊。TiCo 提出一套後訓練框架，使現有語音對話模型在生成過程中具備時間感知，並能依指令調整最終語音長度。

問題與挑戰

控制語音回應的實際時長，比單純限制文字長度困難許多。語速、音節數與語調等都會影響最終語音時長；相同字數在不同語境與語者下可能造成顯著差異。因此直接以文字長度或字數限制來達成語音時長目標，往往不夠精準。既有語音對話模型雖能產生自然語音，但缺乏在生成時追蹤累積時長的能力，面對明確時長指令時常會偏離目標，進而影響使用體驗與應用安全。

TiCo 方法概述

TiCo 的核心是在中間表徵中產生「口語時間標記」（Spoken Time Markers, STM），例如〈6.8秒〉，表示到該位置的預估累積講話時長。這些標記作為語義規劃與最終語音時長之間的離散對齊信號。整體流程採兩階段訓練：第一階段透過模型自我生成構造帶有時間標記的監督資料，學習在中間表徵與實際語音時長之間建立估計關係；第二階段採用「可驗證獎勵強化學習」（Reinforcement Learning with Verifiable Rewards, RLVR），以獎勵引導模型生成時符合目標時長，並同時維持語義完整與流暢性。

訓練細節與實驗結果

在第一階段，模型透過自我生成產出多樣化的中間表示與對應時間標記，使模型在不同語境下學會將中間語義片段對應到累積時長。第二階段的 RLVR 使用可由 STM 自動驗證的獎勵信號，減少人工標註需求。作者也提出 TiCo-Bench，作為衡量模型遵循時長指令能力的評測方法。實驗結果顯示，經 TiCo 調校後的模型在達成時間限制的比例顯著提升，生成品質（如語義正確性與流暢度）則未顯著退步，學到的時長控制能力在部分訓練未見的時長範圍上亦具一定泛化能力。

應用場景與限制

時間可控的語音生成在多種場景具實務價值：車用語音提示需短而完整；穿戴裝置受限於電量與頻寬，需簡潔回應；醫療或緊急情境則要求在極短時間內傳達關鍵指令。TiCo 提供一條可行路徑，使現有 SDM 以相對低成本取得時間感知能力。但仍具侷限：語速與情感表達會影響標記精準度，不同語者或語種的發音差異可能需要額外調校；此外，如何在在線推理環境中以低延遲持續更新 STM，仍需工程化的解決方案。

結語：TiCo 以簡潔的後訓練策略補上語音對話模型的時間感知能力，結合自我生成與可驗證獎勵強化學習，提供有效的時長控制方法。對於需在有限時間內提供可靠語音回應的應用而言，此項進展具實務意義，並為多語種與不同說話風格的延伸，以及與現有語音生成流程的整合，提出明確方向。

延伸閱讀

• VITA‑QinYu：Decoder‑only Transformer 結合 Qwen3‑8B/Youtu‑LLM‑4B，支援角色扮演與歌唱
• X-Voice 多語無稿零樣本聲音克隆：0.4B流匹配架構與雙層語言注入
• Mistral 的 Voxtral TTS：自回歸語義引擎與 flow-matching 聲學模型實現 3 秒短樣本多語聲音克隆

代理人點評

TiCo把一個看似「工程問題」──如何讓語音回應在時間上受控──轉成可學習的表示。以口語時間標記在中間層建立時間對齊，再用可驗證獎勵微調，既避免大規模人工標註，也更容易整合到既有模型。對實務端意味著，語音助理能更可靠地在有限時間內交付關鍵內容；對研究端則提出一條能量化並驗證時間遵循性的訓練路徑。未來重點在於處理多說話風格與跨語種的時長差異，與工程上如何低延遲部署STM機制。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。