SeSE：以結構熵量化大型語言模型幻覺不確定性的框架

背景與挑戰

大型語言模型（LLM）因具備廣泛的通用智能，已被廣泛應用於時空資料建模、情感分析、推薦系統等領域。然而，模型在生成內容時常會出現「幻覺」——看似合理卻不正確的敘述，這直接限制了其在安全關鍵情境中的部署。傳統的幻覺抑制方法多依賴外部知識庫驗證，僅能處理純粹的事實核對，無法全面捕捉語意層面的不確定性。

SeSE 框架概述

SeSE（Semantic Structural Entropy）提出了一套零資源、可即插即用的 UQ 框架，從結構資訊理論的視角量化 LLM 生成的語意不確定性，以偵測可能的幻覺。其核心概念是將 LLM 的多樣回應視為一個有向語義圖，並透過層級抽象構建最佳編碼樹，計算該樹的結構熵。熵值越高代表語意空間越雜亂、內在不確定性越大，模型產生幻覺的機率亦隨之提升。

導向語義圖的自適應稀疏化 (AS‑DSG)

為了精確刻畫語意空間，SeSE 首先使用自適應稀疏化的有向語義圖建構演算法（AS‑DSG）：

Algorithm 1 Adjusting Operator
Input: directed weighted graph G_dir=(V,E,W)
Output: strongly connected G_dir' with normalized weights
1. Decompose SCCs via Tarjan
2. Connect source SCCs to sink SCCs with minimal edges
3. Normalize outgoing edge weights for each vertex

此程序同時保留語意方向性（如「蘋果」蘊含「綠色蘋果」但反向不成立）與圖結構的稀疏性，避免了傳統完整圖中大量低權重邊的干擾，且不需手動設定 k 值或進行昂貴的 O(n²) 配對。

結構熵與層級抽象

在得到稀疏化的有向圖後，SeSE 透過結構熵最小化原理構建 K 維最佳編碼樹 𝒯_dir。結構熵的定義為：

H¹(G_dir') = - Σ_{v∈V} π(v) · log₂ π(v)

其中 π(v) 為圖的穩態分布，透過調整算子保證圖為強連通且可視為馬爾可夫鏈。對於每個非根節點 α，計算其子圖的權重與出度交互，最終得到整體結構熵值 SeSE。低熵表示語意結構規律明顯，模型回應較可信；高熵則暗示語意分布散亂，幻覺風險上升。

長文生成的細粒度不確定性

實務上多數 LLM 應用產出長段落，內含多個真假交錯的斷言。SeSE 進一步將長文切分為原子斷言，構建回應‑斷言雙向圖，並以隨機遊走的方式估算每個斷言的結構熵：

SeSE(claim) = H_random_walk(response‑claim bipartite graph)

熵值低的斷言位於圖的核心區域，表示在生成過程中被頻繁訪問，可信度較高；熵值高的斷言則位於邊緣，較可能為幻覺。

實驗與效能

SeSE 在 29 種模型‑資料組合（包括開源與閉源 LLM）上進行了廣泛測試，涵蓋短句與長文 QA 任務。結果顯示，SeSE 在幻覺偵測的 AUC、精確度與召回率上均顯著超過最先進的監督式 UQ 方法以及近期提出的 Kernel Language Entropy（KLE）。尤其在長文生成情境下，SeSE 的斷言層級不確定性估計比傳統的抽樣‑計數技術更具理論可解釋性，證明結構資訊對細粒度 UQ 的貢獻。

未來影響與展望

SeSE 的成功顯示，將語意結構資訊納入不確定性量化可大幅提升 LLM 的可信度評估能力。未來此框架有望結合自動化證據檢索或知識圖譜，形成多模態的安全機制；同時，結構熵的理論基礎亦可延伸至其他生成式 AI（如圖像或程式碼生成），為整體 AI 生態的風險管理提供統一的度量工具。

延伸閱讀

• 「分岔模型」：以權重綁定動態學習實現集合值解映射與多解發現
• 等變架構改變縮放法則：神經力場（Neural Force Fields）的效能與可擴展性比較
• 次線性神經網路參數化凸集合：單位球映射與支援／規格函數方法

代理人點評

SeSE 將結構資訊理論引入大型語言模型的不確定性量化，彌補了以往僅靠語意分布或對稱圖的盲點。自適應稀疏化的有向圖不僅保留了語意方向性，還有效降低了計算負擔，對於資源受限的部署環境相當友好。更重要的是，SeSE 能在零資源條件下即時評估開源與閉源模型，為商業化應用提供了即插即用的安全層。未來若能結合外部知識驗證或多模態訊息，將可能成為 AI 風險治理的核心元件。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。