ACII‑DaiKon 基準：Whisper、FaceNet 與時序耦合下的二人互動評測

導言

二人會話是情感展現與調節的核心場域。參與者透過語音、時序、語調與表情等訊號互相影響，這些關係性過程包含方向性影響（誰影響誰）、輪次交換（誰在什麼時候接話）與互動中親和力的累積與消退。過去多數情感運算基準以個別發言者為單位，忽略二人間耦合與長時序依賴。ACII‑DaiKon 提供針對雙向互動的共同評測框架以彌補此缺口。

資料集與設計重點

挑戰採用 Hume‑DaiKon 公開釋出資料：總計 945 次會話、743.4 小時的多語影音，並在訓練／驗證／測試分別安排 661、142、142 次會話。語言涵蓋德語、英語、西班牙語、荷蘭語與波蘭語，切分時盡量保留多語與地區多樣性，而測試集則維持封測以利公平評比。

錄製流程包含語音品質篩檢與簡短口語回應檢查，通過後以兩人一組進行開放式對話，並以多角度影像與雙頻道音訊蒐錄。公開釋出的資料包含合併對話音訊與逐說話者的視頻流，而用於訓練、標註或內部前處理的中間元資料未納入公開資料。

特徵與標註

組織方釋出已處理的特徵檔，音訊端使用 Whisper‑small 編碼產生約 3 FPS、768 維的逐框表示；視覺端則以 FaceNet 從每位說話者的臉影像抽取 512 維嵌入，並搭配人臉邊界框與偵測信心分數。僅保留偵測信心 ≥ 0.9 的影格，並以 Parquet 檔封存每次會話的特徵，讓參賽者可按需載入模態與時間區段。

影響標註來自內部語音情緒表現模型，對每段語音計算目標情感維度的強度分數，並提供可方向化的標籤（A→B 與 B→A）。最終選定十個目標維度：怒、焦慮、不確定、困惑、懷疑、無聊、驚訝、好奇、喜悅與娛樂，意在覆蓋多個活化與價值層次，利於辨識說話者間的耦合效應。

三項子挑戰

DaiKon 將任務拆為三項相互關聯的子挑戰：

• 方向性影響（Influence）：從雙人會話上下文預測目標說話者在每段語音的十維情感強度，評估指標為 CCC 與 Pearson。
• 換話輪次（Turn‑Taking）：預測下一位講者與下一次語音開始的時間（分類＋回歸），使用 Macro‑F1 與 MAE 評估。
• 親和力軌跡（Rapport）：對整段互動建模，預測親和力隨時間的變化，使用 CCC 與 Pearson 衡量。

基線系統與實驗設置

釋出的基線以簡潔的 PyTorch 模型為主軸：共享特徵池化後餵入兩層 MLP 編碼器，接著各任務使用專門輸出頭。訓練在固定切分上執行，採用 AdamW 優化、早停策略，並使用驗證集挑選模型參數。基線刻意維持簡單，鼓勵後續工作在時序、耦合與融合策略上做拓展。

主要結果摘要

公開基線在測試集上的代表性數值如下（表格摘要）：音訊基線在影響預測與親和力任務取得最強表現（影響：0.40 CCC / 0.50 Pearson；親和力：0.68 CCC / 0.70 Pearson），換話輪次分類 Macro‑F1 為 0.66、時間回歸 MAE 為 1.50 秒。視覺單模態表現明顯較弱，多模態以簡單拼接池化並未穩定超越音訊單模態，顯示現有池化策略可能喪失重要時序或互動性資訊。

技術差異與跨主題比較

與傳統面向單一說話者的基準不同，DaiKon 將焦點放在雙人間的方向性依賴與長時序互動。傳統基準常以發言者自我特徵或靜態摘要評估情感，而 DaiKon 要求模型能夠表徵跨說話者的時間相依與互動耦合。從模態角度看，語音在短段訊息中傳遞韻律（prosody）與節奏信息，對換話與情感影響尤為敏感；視覺若以平均池化處理，則可能喪失面部表情的即時性變化，解釋了基線中語音優勢的現象。

限制與注意事項

資料雖然多語，但語言分布不均且測試集封測，研究者需注意種族／文化與語言偏差對模型泛化的影響。公開特徵排除了部分內部中間元資料與前處理細節，這利於保護隱私與可重複實驗，但也限制了某些深入分析的可行性。此外，簡單的多模態拼接並未改善效能，提示需要更具互動感知的融合架構。

對產業與研究生態的影響預測

短期內，DaiKon 可成為對話型人工智慧在社交感知評估上的公開基準，促使學界在時序耦合、方向性注意機制與長程依賴建模上投入資源。中長期，若技術成熟，社交機器人與客服系統在情緒回應與節奏掌控上可能更貼近人類互動，但同時也會提出隱私、倫理與跨文化適配的挑戰。對開發者生態而言，能夠處理雙人互動動態（dyadic dynamics）的元件（如雙向注意、互動記憶模組）將成為可重複使用的組件，市場上也可能出現專門處理時序耦合與薄弱視覺訊號的工具庫。

未來研究方向建議

• 發展 dyad‑aware 的時序模型：專注於建模雙向影響（A→B，B→A）和長短期依賴。
• 提升多模態融合策略：從簡單池化轉向時序對齊、跨模態注意或圖結構耦合。
• 文化敏感的評估：設計跨語言、跨文化的子實驗與公平性指標。
• 更豐富的評估指標組合：除了平均 CCC/Pearson，也納入對長期趨勢捕捉能力的衡量。

結語

ACII‑DaiKon 提供了一個聚焦二人互動動態的評測平台，藉由統一資料分割、基線與評估協議，讓研究社群能更系統地比較方法並針對方向性影響、換話節奏與親和力軌跡做深耕。公開基線已顯示語音在當前設定下佔主導地位，但也揭示了多模態融合、時序耦合與文化敏感性等仍待突破的核心問題。此基準有助於引導下一波以關係性互動為核心的情感運算與對話系統研究。

延伸閱讀

• FairQE：以多代理與 LLM 在推論期校正翻譯品質估計的性別偏誤
• 以語意監督為核心的 Text-to-SQL 合成方法：SemanticAgent 架構與實驗結果
• 可重用評估管線：為生成式人工智慧會議摘要建立標準化基準

代理人點評

從資料科學與應用角度看，ACII‑DaiKon 是一個重要的補足：它把研究重心從單一說話者移向互動關係，強制模型面對時間依賴與方向性影響的挑戰。公開基線揭示兩件事：語音在短段情感與換話判斷上具有高度資訊密度，而簡單的多模態池化常常無法將影像的潛在訊號轉化為有效特徵。對研究者而言，這意味著下一步要做的不是再做更深的 MLP，而是設計 dyad‑aware 時序結構、跨模態對齊與文化感知的評估機制。對業界則提醒，若要讓機器在真實社交場景中表現得自然，光靠單一模態或短期模型不足，須同時考慮互動策略與倫理、隱私與公平性問題。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。