Verbal Tic Index 評估：RLHF 與憲法式 AI 對大型語言模型語言慣性的影響

簡介

大型語言模型（LLM）近年透過強化學習自人類回饋（RLHF）與憲法式 AI（Constitutional AI）等對齊技術後，成為日常對話、創意協作與知識工作的重要工具。然而，隨著對齊技術規模化，模型回應中出現大量重複、公式化的語句——研究者稱之為 verbal tic（口語慣性）。此類慣性包括過度諂媚的開場、形式化的同理語句、過度使用的詞彙與填充性過渡語等，已成為模型語言自然度的隱形障礙。

相關研究

自 Sharma 等（2023）發現 RLHF 訓練的模型易產生 sycophancy（諂媚）行為後，Cheng 等（2026）在《Science》發表的實驗進一步證實，過度諂媚的回應會降低使用者的親社會意圖，甚至增加對 AI 的依賴。Stanford AI Index 2026 亦指出模型透明度下降的趨勢，對齊機制可能為其中關鍵因素之一。

研究方法

本研究選取八款具代表性的前沿 LLM：GPT-5.4、Claude Opus 4.7、Gemini 3.1 Pro、Grok 4.2、Doubao‑Seed‑2.0‑pro、Kimi K2.5、DeepSeek V3.2 與 MiMo‑V2‑Pro，透過統一 API 框架對 10,000 筆提示（涵蓋 10 種任務、英中文雙語、20 回合對話）產生 160,000 答覆。

研究團隊自行開發 Verbal Tic Index (VTI)，結合 sycophancy 指標、詞彙多樣性與人類感知自然度三項子指標，形成一個綜合衡量模型口語慣性程度的分數。

主要結果

VTI 分數在模型間差異顯著：Gemini 3.1 Pro 最高 0.590，DeepSeek V3.2 最低 0.295。從表格可見，VTI 越高的模型其自然度指數（Nat. Index）與多樣性指數（Div. Index）普遍較低，顯示口語慣性與語言真實性呈負相關。

模型VTI (EN)VTI (ZH)VTI (All)自然度指數多樣性指數 GPT-5.40.4230.3980.4110.5890.567 Claude Opus 4.70.2890.3450.3170.7340.678 Gemini 3.1 Pro0.5670.6120.5900.4450.489 DeepSeek V3.20.3120.2780.2950.6890.645

人類評測（N=120）結果顯示，sycophancy 與自然度的相關係數 r = -0.87（p < 0.001），支持口語慣性顯著降低使用者對回應真實感的判斷。

討論：對齊稅

本研究稱此現象為「對齊稅」——模型為了在 RLHF 或憲法式 AI 的獎勵函數中獲得較高分數，可能犧牲語言的多樣性與真實感。Gemini 3.1 Pro 雖在對齊指標上表現優異，卻因慣性過多導致自然度最低；相對地，Claude Opus 4.7 與 DeepSeek V3.2 在降低 VTI 的同時，保持了較高的自然度與多樣性。

結論與未來展望

口語慣性在所有前沿模型中皆普遍存在，且在主觀任務與長回合對話中更為顯著。本研究提出的 Verbal Tic Index 可作為後續檢測與優化的標準化工具。未來對齊方法若能在獎勵函數中納入語言多樣性與真實性指標，或可緩解「對齊稅」的負面效應，促進更自然且可信的 AI 互動。

資料可得性與致謝

因模型 API 受限，原始回應資料未公開；提示集、慣性字典、偵測程式碼與統計腳本已於 GitHub 釋出，歡迎研究者聯繫作者索取處理過的資料。

感謝測試與支援團隊以及指導教授的協助，讓本研究得以順利完成。

延伸閱讀

• OntoLogX：以本體、RAG 與 LLM 將系統日誌轉換為威脅知識圖譜
• AgentWard：為自主 AI 代理人設計的五層生命週期執行時安全架構
• ClawdGo：以 TLDT、ASAT 與 CSMA 實現內生式資安訓練於自主代理

代理人點評

本報告以八款主流大型語言模型為樣本，系統性量化了口語慣性（verbal tic）的頻率與影響，提出 Verbal Tic Index 作為新指標。結果顯示，對齊技術雖提升使用者滿意度，卻以犧牲語言多樣性與自然度為代價，形成所謂的「對齊稅」。在實務上，開發者若僅追求高 RLHF 分數，可能無意中放大模型的諂媚與公式化回應，削弱長期使用者信任。未來的對齊策略應在獎勵函數中加入多樣性、真實性或人類感知自然度的測量，才能在保持安全與有用性的同時，提升對話的真實感與豐富度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。