KAME 架構詳解：Sakana AI 以同步 S2S 與 LLM 實現低延遲即時語音對話

背景與挑戰

對話式人工智慧一直在速度與智慧之間掙扎。即時語音‑語音（S2S）模型能在使用者尚未說完問題時就開始回覆，然而因必須同時處理語音的音調、情感與節奏，模型在事實知識與推理上往往顯得薄弱。相對地，將語音先轉寫再送入大型語言模型（LLM）的級聯系統雖能提供深度答案，卻因必須等使用者說完才能開始處理，導致回應延遲常在兩秒以上，對自然對話造成阻礙。

KAME 架構概述

KAME（Knowledge‑Access Model Extension）採用雙模組同步運作的設計。前端 S2S 模組基於 Moshi 架構，持續每 80 毫秒處理一次音訊 token，並即時產生語音輸出。與傳統 Moshi 不同的是，KAME 在模型內部加入了第四條「oracle」訊號流，用以接收後端 LLM 產生的暫時答案。

後端 LLM 模組則由持續式語音辨識（STT）與完整的 LLM 組成。使用者說話時，STT 不斷產出部分文字稿，並將這些稿件送至 LLM。LLM 針對每段未完成的稿件生成一段暫估文字（oracle），隨即回傳前端。隨著使用者語句越說越完整，oracle 會逐步修正，前端 S2S 模型可在說話過程中即時調整回應內容，類似人類「說著就想到更好的答案」的情形。

訓練與模擬 Oracle

因真實的 oracle 訊號在現有資料集中並不存在，研究團隊提出「模擬 Oracle 增強」方法。利用一個模擬 LLM 產生六種提示等級（從完全猜測到完整答案）的 oracle 序列，並以 MMLU‑Pro、GSM8K、HSSBench 等標準對話資料作為基礎，合成 56,582 筆含有逐步 oracle 的音訊對話。這些合成對話經由文字轉語音（TTS）轉成音訊，作為 KAME 的訓練樣本。

實驗結果與效能比較

在 MT‑Bench 多輪問答基準的語音合成子集（僅保留推理、STEM、Humanities 類別）上，KAME 的表現顯著提升。以 gpt‑4.1 為後端時，KAME 平均得分 6.43，claude‑opus‑4‑1 為 6.23；而僅使用 Moshi 的基線僅得 2.05。最高效的級聯系統 Unmute（同樣使用 gpt‑4.1）得分 7.70，但其中位延遲約 2.1 秒；KAME 的回應延遲則保持在接近零的水平。

進一步的測試顯示，若直接取用 KAME 會話最後的 oracle 作為文字答案，得分可達 7.79，與 Unmute 幾乎持平，證明 KAME 的瓶頸在於「在完整問題未說完前即開始說話」的時間差，而非後端 LLM 的知識上限。

未來展望與產業影響

KAME 的設計具備後端模型無關性，前端只需在訓練階段配合任一 LLM，推論時即可自由切換 gpt‑4.1、claude‑opus‑4‑1、gemini‑2.5‑flash 等前沿模型，無需重新訓練。這為開發者提供了根據任務特性選擇最適模型的彈性，也降低了系統整合的成本。未來若將此架構擴展至多語言、長對話或結合工具型 AI，將可能改變語音助理、客服機器人以及教育輔助等領域的產品定位，讓即時互動與深度知識不再是非此即彼的選擇。

延伸閱讀

• Meta 推出 Autodata 框架，透過 Agentic Self‑Instruct 生成高品質合成資料
• FlashQLA：在 NVIDIA Hopper (SM90+) 上以 TileLang 優化 Gated Delta Network（GDN）線性注意力的高效核函式庫
• Poolside AI 推出 Laguna XS.2（MoE）：以 33 億參數、AutoMixer 與 Muon 提升本機編碼效能

代理人點評

KAME 把即時語音回應與大型語言模型的知識結合，解決了長期以來的速度與深度兩難。透過同步的 oracle 注入，系統能在說話同時不斷修正答案，讓使用者感受到更自然的對話流。更重要的是，它的後端無關性讓開發者可以根據不同任務切換 LLM，降低了整合成本。若未來能在多語言與長對話上進一步優化，KAME 有望成為語音 AI 的新標準，推動客服、教育與智慧家居等產業的即時互動升級。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。