結合反事實生成與稀疏電路分析降低 VLM 幻覺：方法與實驗

背景與研究動機

視覺語言模型（VLM）在多模態任務上表現優異，但仍常出現與影像內容不符的幻覺答案。過去的研究多聚焦於輸出驗證或輸入擾動，對模型內部驅動幻覺的機制缺乏系統性了解。本研究提出以因果電路為切入點，探討幻覺在反事實擾動下的穩定性，並量化檢測所需的樣本複雜度。

相關工作比較

機制可解釋性領域將模型行為視為稀疏計算電路（Wang et al., 2022），早期使用激活貼補與刪除（ablation）方式；ACDC（Conmy et al., 2023）提升了可擴展性；EAP（Hanna et al., 2024）則採用梯度方法降低成本但可能犧牲忠實度。相較之下，我們選用 CD‑T（Hsu et al., 2025），在不需實際介入的情況下高效計算特徵貢獻，兼具成本與忠實度。

在反事實生成方面，傳統方法多在像素層面做干預，成本高且難以保持語意一致。本文的潛在反事實生成則在視覺嵌入空間內加入隨機干擾 \tilde{h}^{(k)} = h(I) + \alpha z_k，既保留問題語意，又能快速抽樣大量樣本，適合統計估計。

方法論概述

整體流程分為四個階段：

1. 對每組 (I, q) 產生潛在反事實樣本。
2. 使用 CD‑T 追蹤稀疏電路 S^*。
3. 對每個保留的反事實樣本與電路節點，計算激活修復後的目標對數機率變化，得到節點層級的因果差異 Δ_v^{(k)}。
4. 統計 Δ_v^{(k)} 的均值與變異，套用 Bernstein 上界推導每個節點所需的最小樣本數 \hat{m}_v，最後取電路平均作為整體樣本複雜度指標 \bar{m}。

Algorithm 1: Hypothesis Testing over Counterfactual Causal Circuits
0: Input factual sample (I,q,y), discovered circuit S*, generator G_ϕ, VLM f_θ, budget K, confidence (ε,δ)
1: Run factual forward pass on (I,q) and cache activations A_f^v for v∈S*
2: for each v∈S* do D_v ← ∅
3: for k=1 to K do
4: Sample latent intervention z_k ∼ p(z)
5: x_cf^{(k)} ← G_ϕ(I,q,z_k)
6: ℓ_cf^{(k)} ← log p_θ(y|x_cf^{(k)})
7: Patch activation A_v^{cf,k} ← A_f^v
8: ℓ_patch^{(k)} ← log p_θ(y|Patch(v, x_cf^{(k)}))
9: Δ_v^{(k)} ← ℓ_patch^{(k)} - ℓ_cf^{(k)}
10: Append Δ_v^{(k)} to D_v
11: end for
12: Estimate μ̂_v, σ̂_v^2 from D_v
13: Compute \hat{m}_v = ceil((2σ̂_v^2 + (2/3)B_v ε)/ε^2 * log(2/δ))
14: Aggregate \bar{m} = (1/|S*|) Σ_v \hat{m}_v
15: Reject H_0 if \bar{m}>τ

實驗設計

我們在三個主流 VLM 上測試：LLaVA‑v1.5‑7B‑hf、Qwen3‑VL‑8B‑Instruct 與 Qwen3‑VL‑8B‑Thinking。反事實樣本以潛在干預方式生成，先建立大型樣本池，再篩選出能保持正確答案的穩定子集供電路分析。

評估使用 POPE（二元是非問答）、COCO 以及 HallusionBench，分別測量模型在物件存在判斷、召回率與幻覺特化基準上的表現。每個輸入皆透過 CD‑T 找出稀疏電路，計算節點層級的 Δ_v^{(k)}，再以 Bernstein 公式得到樣本複雜度分數。

結果與討論

表 1 顯示，在所有模型與基準上，加入反事實電路框架後均提升了準確率與召回率。特別是低變異電路（即 σ̂_v^2 小）的樣本，其 \bar{m} 值顯著低於高變異電路，對應的幻覺率下降幅度最高。這證實了模型的「穩定」推理路徑能有效抑制幻覺。

從跨主題比較來看，傳統的後處理校正（例如置信度篩選）只能在輸出層面削減錯誤，而本方法直接在內部激活層面修正，因而在保持答案一致性的同時減少了資訊損失。未來若將此樣本複雜度指標作為部署門檻，將有助於在大型模型服務中快速篩選出較可靠的推理路徑。

限制與未來方向

本框架的主要開銷在於多次反事實抽樣與激活貼補，對推理延遲有一定影響。潛在干預雖提升效率，但部分干擾在語意上仍不易解釋，可能需要結合語意控制的生成模型以提升可解釋性。另因目前聚焦於解碼端稀疏電路，未來可擴展至編碼端更分散的多模態交互，進一步揭示幻覺的全局機制。

附錄

附錄 A 說明了反事實生成器的實作細節，採用高斯干擾 z_k ∼ N(0, I)，並以超參數 α 控制干擾幅度，使得 ‖α z_k‖_2 ≤ ε，確保在嵌入空間的局部變化。

延伸閱讀

• 多模態大型語言模型影片理解缺失答案偵測之系統性診斷與結果分析
• LyraV 讓線上 Video‑LLM 實現 98% 同步率的 SVLS 框架
• HIMMEL：以壓縮域動態令牌與三流Adapter提升長影片理解效率

代理人點評

本篇報導以因果電路與反事實樣本結合的方式，提供了視覺語言模型幻覺問題的機制性解答。相較於僅在輸出層做置信度篩選的做法，作者直接在模型內部稀疏電路上施測，能更精準捕捉不穩定的推理路徑。實驗結果顯示，低變異電路對幻覺的抑制效果顯著，且樣本複雜度指標可作為部署前的可靠性門檻。未來若能將語意可控的反事實生成與自適應電路發掘結合，將進一步提升大規模 VLM 的安全與可解釋性，對產業落地具有重要意義。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。