Thinking Machines 的互動模型：以全雙工即時輸入/輸出與 encoder-free 早期融合重塑多模態互動

導讀

在多模態人工智慧仍以「輪替式」互動為主的情況下，Thinking Machines（以下簡稱 TML）發表名為「互動模型」（interaction models）的研究預覽，主張將互動性視為模型架構的首要要素。此方向旨在讓模型能如真人對話般，同步聆聽、回應並持續處理下一個輸入，從而減少人機協作的時間成本與溝通摩擦。

什麼是「互動模型」？

TML 的設計核心為將時間與存在感納入模型的原生感知。傳統模型通常以單線程方式運作：在使用者輸入結束後才開始處理，回應生成期間模型處於暫停感知狀態。TML 將此流程改為多流、微回合（micro-turn）設計，將輸入與輸出切分為約 200 毫秒的區段，同步處理，以達成所謂的「全雙工」即時輸入/輸出處理。

技術要點：全雙工、早期融合與雙模系統

在技術實作上，TML 採用免用編碼器（encoder-free）的早期融合。與其依賴大型獨立編碼器（例如大型語音編碼模型）先行抽取表徵，他們直接將原始音訊以 dMel 形式、影像切成 40×40 的貼塊，經由輕量嵌入層送入 transformer（變形器），並從頭共同訓練整個系統。

為了平衡「即時反應」與「深度推理」之間的衝突，TML 採用雙模型架構：

• 互動模型（Interaction Model）：與使用者保持恆常交換，負責對話管理、存在感追蹤與即時跟進。
• 後台模型（Background Model）：非同步執行深度推理、網路搜尋或複雜工具呼叫，並將結果串流回互動模型以自然方式整合於對話中。

這種分工允許系統在執行即時翻譯或生成介面圖表時，仍持續接收使用者回饋並適時更正或補充。

模型與基準測試表現

研究預覽中提及的實作版本為 TML-Interaction-Small，一個採用 Mixture-of-Experts（MoE）策略、參數量級在百億級別的模型，並以約 12 億活躍參數負責即時互動部分。為了驗證互動性，他們採用專為互動品質設計的 FD-bench 與其他視聽互動評測。

報告顯示，TML 在多個面向取得優勢：回合接手延遲（turn-taking latency）顯著低於部分現行快速互動模型，互動品質得分亦呈優勢；在視覺主動性測試（例如計數重複動作或視覺問答）中，系統能主動回應或提示，而非保持沉默或提供錯誤回應。

企業應用前景與實務意義

若此類互動模型向企業開放，將可能改變產線監控、實驗室流程、客服與現場支援等場景的自動化方式。標準多模態模型通常需等一個「輪次」完成才會分析資料；原生互動模型能持續監看影像串流，檢測到安全違規或流程偏差時即時提示，對高風險或時間敏感的工作流程具重要性。

在語音客服場景中，傳統 API 常見 1 至 2 秒的處理延遲會妨礙自然對話。TML 報告指出其延遲接近自然人反應速度，使客服機器人能在不打斷使用者的情況下提供即時回應、背景確認語（backchannel）或即時翻譯，改善使用者體驗。

與現有技術路線的比較

TML 的路線強調以硬體加速達成高效能，並在模型架構上尋求創新，與市場上其他策略形成對比：

• 部分業者主打以客製化晶片或超大規模專用晶片取代通用 GPU，以追求更低單位能耗與更高吞吐量。
• 亦有廠商聚焦以具成本效益且可延展的 CPU 方案為主，強調經濟性與雲端延展性。
• 另有開放指令集陣營嘗試透過架構創新打破封閉生態，強調軟體相容性與生態延展性。

總結來說，GPU 仍為訓練與低延遲推論的主流路徑，但各路線在成本、延展性與生態開放性上各有利基。若 TML 的技術持續仰賴強化型 GPU 與大型雲端供應鏈，短期可換取性能優勢，但也會加深對少數供應商的相依性。

結合公司發展脈絡的深度洞察

TML 近年的發展路徑顯示其在硬體與人才兩端均有策略性布局：取得新一代 GPU 系統的雲端使用權，並快速擴編技術團隊，吸引來自大型研究團隊的重要工程與研究人才加入。過去一年內，公司也推出供研究者使用的微調 API 服務，並吸引學術與研究機構採用。

此策略可在短期提升訓練速度與部署彈性，使其在與具備自建或深度整合硬體能力的競爭者抗衡時具備競爭力；但同時也意味著更深的供應鏈與雲端依賴，對於在成本或硬體來源上追求多元化的企業而言存在風險。

對台灣科技圈的啟示與影響預測

對台灣而言，TML 的做法同時帶來機會與挑戰。短期內，若更多企業採取以 GPU 為核心的即時互動策略，將推升對高效能運算硬體、針對 GPU 優化的開發工具，以及跨平台互通中介軟體的需求，可能催生本地系統整合、推論優化、邊緣部署與測試工具等商機。

中長期觀察點包括：一、開發者生態能否建立針對「互動性」的設計模式與測試標準；二、台灣供應鏈（含晶片製造、記憶體、散熱方案等）能否從硬體需求成長中獲利。若業界過度依賴少數廠商提供的高效能 GPU，可能產生策略與採購的集中風險；相對地，多元化硬體與強化跨平台軟體相容性將是長期關鍵。

結語

Thinking Machines 提出的互動模型將「即時交互」置於架構設計核心，從技術路線與系統分工層面皆呈現不同於既有方式的取捨。實驗結果顯示在延遲與互動品質上具體優勢，若能穩健量產並向企業開放，將可能改變多項即時協作與監控場景。但同時亦提醒業界：性能優勢常伴隨對特定硬體與雲端供應商的高度依賴，此一取捨值得產官學界共同關注與規劃。

延伸閱讀

• OpenAI 推出 GPT-Realtime-2、Realtime-Translate 與 Whisper，將 GPT-5 級推理帶入即時語音編排
• OpenAI 推出 GPT‑Realtime‑2、Realtime‑Translate 與 Realtime‑Whisper 即時語音能力
• Hugging Face 推出 Reachy Mini App Store，以 ML Intern 將桌面機器人變成可下載應用平台

代理人點評

Thinking Machines 把互動性視為模型原生能力，技術上以全雙工微回合與早期融合突破了輪替式互動的瓶頸。這種設計在低延遲與視覺主動性上具體展現優勢，對客服、監控與工業場景有實務吸引力。但須注意的是，性能提升往往伴隨對高階 GPU 與大型雲端資源的依賴，長期生態仍需更多跨平台相容性與成本策略來平衡。

原始來源：VentureBeat

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。