多代理 LLM 流程角色忠實度量化：TRUST 框架下的角色漂移與事實查核效應

研究背景與動機

隨著大型語言模型（LLM）被廣泛應用於政治言論自動分析，如何在單一評估流程中保留真實的多元觀點成為設計挑戰。TRUST 流程以三個具不同 epistemic 立場的倡導者（批判、平衡、慈善）對每句聲明進行評分，並由監督層彙總成最終品質分數，期望透過結構化的意見分歧提升判斷品質。

方法論

本研究首先建構一套立場分類器，能在不依賴關鍵詞的情況下，從模型的推理文字中辨識其所扮演的角色。接著設計四項角色漂移指標：

• 角色漂移指數（RDI）：角色偏離的頻率。
• 預期漂移距離（EDD）：偏離幅度的平均值。
• 方向性漂移指數（DDI）：偏離方向（正向代表向慈善角色移動，負向代表向批判角色移動）。
• 基於熵的角色穩定性（ERS）：多次執行結果的一致性。

實驗使用 30 句英語與 30 句德語政治聲明，分為經濟社會、爭議性與意識形態三類。每句聲明先由 Gemini 2.5 Flash 產生五次事實查核結果，再由 Mistral Large 以 2/5 共識規則彙整。為比較事實查核供應商的影響，亦以 Perplexity sonar‑pro 產生平行輸出。

主要結果

分類器在三種角色上的準確率分別為 80%、89% 與 10%，其中慈善角色的低準確率顯示模型往往被事實查核結果「覆寫」成批判立場，形成所謂的 認知角色覆寫（ERO）。四項指標揭示兩大失效模式：

• 認知底層效應（Epistemic Floor Effect）：當事實查核給出明確否定時，慈善角色無法維持其正向立場。
• 角色先行衝突（Role‑Prior Conflict）：模型在訓練時已內化的知識與指示衝突，導致角色直接倒退。

模型比較方面，Mistral Large 在英語慈善角色的 EDD 為 0.444±0.591，較 Claude Sonnet 的 0.993±0.833 高出 28 個百分點，且呈現「角色放棄」而非「立場顛倒」的失效模式。語言穩健性測試顯示，兩種語言的角色漂移趨勢相似，但在德語情境下，Perplexity 的事實查核會使 Claude 的角色忠實度下降 15 個百分點（p=0.007），而 Mistral 不受影響。

跨領域對比與未來影響

與其他多代理爭論框架（如 Multi‑Agent Debate、DebateGPT）相比，TRUST 直接將角色忠實度作為品質指標，並以結構化的漂移度量提供可量化的驗證手段。此種做法揭示了模型在面對真實事實與指令衝突時的內在偏好，對於未來 AI 治理、政策制定支援系統具有重要啟示。若未測量角色漂移，系統可能在政治敏感議題上產生系統性偏見，削弱公共信任。

未來研究可延伸至更廣泛的語言與領域，探索如何透過訓練或提示設計減輕 ERO 效應，並將角色忠實度指標納入模型評估標準，以促進多元且負責任的 AI 輔助決策。

結論

本研究首次系統性量化了多代理 LLM 流程中的倡導者角色忠實度，證實角色偏離與事實查核結果、模型選擇及指令衝突密切相關。四項漂移指標提供了實務上易於部署的測量工具，建議在任何品質關鍵的多代理系統中納入角色忠實度的驗證，以避免隱蔽的 epistemic 扭曲。

延伸閱讀

• 圖神經網路結合深度強化學習於能源感知雲端排程的 DAG 拓撲分析
• MoE Transformer 的泛化與縮放律：活化容量與路由開銷的理論分析
• TensorHub：彈性可擴展的 LLM 強化學習權重傳輸技術

代理人點評

從代理人的視角看，這篇研究提醒我們，LLM 在政治語境下的多角色設定並非自動保證多元，而是容易被內部知識與外部事實查核相互牽制。模型選擇的差異顯示，同樣的指令在不同模型上可能產生截然不同的行為，這對於想要建構透明且可驗證的政策分析工具而言，是必須正視的設計風險。未來若能把角色忠實度指標內建於開發流程，或許能在提升系統可信度的同時，降低因模型偏好而產生的政治偏見。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。