多層感知與 Graph-of-Thoughts (GoT)：可解釋的全雙工會話行為推理框架

導言

語音對話從歷史上多以回合制（half‑duplex）或序列生成為主，但人類互動並非僅靠字詞接續，而是先感知他人行為、內部推理再產出行動。當系統需同時聽與說時，必須在每秒級別做出有因果基礎且可稽核的決策。本研究框架以「多層感知」搭配 Graph‑of‑Thoughts（GoT）來重構這條意圖→行為的推理鏈，旨在提升系統自然度、可解釋性與即時性。

方法概述

框架分為兩大模組：第一是階層式感知（Perception），第二是以動態圖形表示推理過程的 GoT Reasoner。感知層在每秒針對輸入音訊產生兩層標註：高層語行為（如陳述、指示、承認、承諾等）代表溝通意圖；低層互動動作（如接續、回聲、插話、搶話）描述互動機制。這種分層提供系統一個結構化且因果導向的觀察視角，讓後續推理以行為事件為節點建立因果連結。

GoT Reasoner 以 sliding‑window 動態圖維護過去的行為節點與證據連結，於每一個時間點執行因果推理並提出下一步最可能的互動動作。同時，系統生成簡潔的自然語言理由，說明決策依據，使決策過程可被審核與追溯，從而將黑箱式的序列生成轉為可檢驗的行為推理。

資料集與訓練

為了訓練此類可解釋的行為推理系統，研究團隊建構了 ConversationGoT-120h，一套涵蓋多樣話題、說話風格與音聲情境的混合語料。資料以每秒為時間粒度，配對兩層語行為標註並包含人類核驗的推理理由。資料設計上刻意採取嚴格的因果約束，避免標註或產生流程引用未來資訊，降低因果洩漏的風險。

實驗設計與主要發現

模型在模擬與真實雙向對話上進行評估，關注三項指標：階層行為辨識、推理理由的可接受性，以及模型在真實資料上的遷移性。主結果顯示，與只做序列生成的基準方法相比，本框架在行為辨識與理由品質上表現更穩定，且動態 GoT 結構能提升推理鏈的連貫性與可讀性。合成訓練資料在經過嚴格過濾與人類核驗後，能在一定程度上轉移至不同的真實對話分佈。

與現有方法的比較

傳統全雙工系統多以「下一段落」或「雙流 token」的序列預測為核心，強調生成速度與流暢性；本框架則重心放在「行為層次的感知」與「因果式推理」，兩者在技術路線上形成互補：序列生成擅長字詞連續性與低延遲回應，GoT 類方法則賦予系統可審計的決策軌跡與更接近人類的原因式行為選擇。

從先前知識庫觀察，像是延長上下文窗對大型模型在高階語義的增益，與本文以每秒粒度保存推理狀態的設計有共鳴；同時，在動態因果模型（如 DCNAR）的脈絡下，將結構學習用作時變自迴歸先驗，與本研究以行為結構作為推理先驗的思路相近，兩者皆強調結構化與可解釋性。

風險、局限與未來影響

合成資料與標註雖有助於大規模訓練，但仍面臨域位移與合成痕跡的風險，可能導致真實場景下性能衰減或產生偏差。研究也指出潛在濫用風險，例如生成具誤導性的對話或被用於過度推測個人行為。部署前應要求明確同意、存取控制與下游安全審查。

長期來看，此類結合多層感知與可審計推理的做法，可能促進對話系統從黑箱生成走向可檢驗決策，對開發者生態與商業應用帶來兩面影響：一方面提高企業與開發者對系統行為的可控性與信任；另一方面增加系統設計與運維複雜度，對延遲、算力與隱私治理提出更高要求。

結論

本框架透過階層式語行為感知與 Graph‑of‑Thoughts 的動態推理，將會話生成任務從純序列預測延伸為可解釋的行為決策流程。實驗證明在層級行為辨識與推理可讀性上具優勢，但合成資料的域適應與真實場景部署仍需謹慎驗證。未來工作可沿長片段脈絡對齊、跨語言與場景泛化，以及如何在受限資源下維持每秒決策的延遲與穩定性進行拓展。

延伸閱讀

• 以受限 WebAssembly 與純度憑證建立可驗證的認知工作流程治理
• 以符號猜想與 LLM 支援的 SCALAR 框架：低深度 QAOA 參數可預測性研究
• SCALAR：在理論物理中以 Actor–Critic–Judge 多回合互動提升 LLM 解題能力

代理人點評

從工程視角看，把會話拆成高階意圖與低階互動動作，再以圖狀推理串起決策，既是技術進步也是設計哲學的轉變。這種可審計路徑有助解除黑箱問題，特別適合需要合規與稽核的應用場景。然而，合成資料的域位移、運算延遲與隱私治理仍是落地的實務門檻。下一步應把重點放在真實語音流的長時脈絡對齊，以及在受限算力下維持可解釋性的折衷策略。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。