Data-driven Circuit Discovery（DCD）：以分群與單例邊歸因揭示語言模型內部電路

Data-driven Circuit Discovery（DCD）：以分群與單例邊歸因揭示語言模型內部電路

語言模型的機械式可解釋性（mechanistic interpretability）嘗試把模型內部運算拆解為人可理解的子結構，電路發現（circuit discovery）是其中主要方法之一。既有研究多採假設驅動的流程：研究者定義任務、構造代表性資料集，然後在該資料集上尋找單一電路並將其詮釋為該任務的運作機制。但此流程隱含兩個關鍵假設：資料集足以代表任務，且模型以單一電路解決該任務。本文系統性檢驗這兩項假設，並提出以資料驅動的替代框架 Data-driven Circuit Discovery（DCD）。

問題與實驗概覽

研究團隊在四個先前研究常用的任務上展開分析：間接受詞識別（IOI）、實體綁定（Entity Binding, EB）、算術加法（Arith）、序列補完（Sequence Completion, SC）。對每個任務，研究者構造多組在語法、複雜度或詞彙領域上略有差異但語意等價的資料集，然後在每組資料上獨立執行既有的電路發現方法（例如 EAP-IG 等近似的邊權重歸因技術），並比較所得電路的結構相似性（如邊的 Jaccard）與在其他資料集上的忠實度（faithfulness）。

關鍵發現：資料集專屬與機制混淆

實驗顯示：即便資料集在表層呈現上只有小幅變動（例如語法被動/主動、實體數量從二人到三人、或詞彙域轉換），發現出的電路在結構上可能出現低重疊，且在跨資料集評估時忠實度顯著下降。值得注意的是，當把來自兩個截然不同機制的樣本混合於同一發現資料集中時，傳統方法仍可能回傳一個單一電路，且該電路對兩種任務都展現較高的忠實度。換句話說，現有流程容易將多種不同的內部機制混合，誤導研究者把結果解讀為單一且通用的任務電路。

提出的解法：Data-driven Circuit Discovery（DCD）

為了避免上述誤解，作者提出 DCD 框架，核心思路是放棄「單一電路對應整個任務」的假設，改以模型在個別輸入上的內部計算相似性來決定解釋的範圍。DCD 包含兩個階段：

1. 對每個輸入計算一個邊歸因或特徵向量，代表模型在該案例上依賴各邊的強度，接著對這些高維向量做降維與分群；
2. 在每個群內獨立執行電路發現，生成多個各自專精於該群的電路。

演算法概要（節錄）

Input: 模型 G=(N,E), 資料集 D={x1,...,xn}, 電路方法 F, 距離度量 d, 降維維度 r
for i in 1..n:
 si 

與假設驅動方法的比較

與傳統流程相比，DCD 的兩個關鍵差異是：以模型的處理痕跡而非人工定義的標籤來驅動分割；以及允許多個電路並存，讓每個電路僅需解釋其群內樣本。實驗結果表明，在混合任務的資料集中，DCD 能恢復多個互不相同且各自具高忠實度的電路；在單一任務但含多種內部機制的情況下，DCD 也能分離出不同的運算路徑，產出較假設驅動方法更稀疏且更忠實的電路。

未來影響與產業意涵

從方法論角度看，DCD 將解釋性研究的決策權從研究者事先定義的任務邊界回歸到模型本身，有助於避免把資料集特徵誤認為模型機制。對 AI 產業與開發者生態而言，這代表：

• 評估模型行為時需考量多樣化輸入與模型內部分群，以獲得更完整的上游風險與偏誤診斷；
• 若解釋性工具整合分群流程，調試、微調或介入（intervention）可更精準地指向特定機制；
• 產品化的可解釋性功能（例如可視化、審計報表）應設計為能呈現多個機制，而非強行擬合單一解釋。

限制與討論

DCD 仍面臨實務挑戰：個例層級的邊歸因維度通常極高，降維與分群的選擇會影響結果穩定性；如何在有限資源下對大型模型進行可擴展的分群與電路搜尋，也是工程層面的瓶頸。此外，分群導致的多電路解釋需配合嚴謹的驗證流程，以避免過度切片（over-slicing）或把隨機變異誤判為機制差異。

結論

本文指出，既有假設驅動的電路發現容易生成資料集專屬或混合機制的單一電路，從而扭曲對模型內部運作的理解。Data-driven Circuit Discovery 提供一條可行的替代路徑：先以模型自身的處理相似性決定分群，再在各群內獨立發現電路。實驗顯示 DCD 能在多任務或多機制情境下找出更忠實、較稀疏且更易詮釋的電路，對機械式可解釋性研究與實務審計皆具重要意義。

延伸閱讀

• PerfCoder 的單步策略與執行回饋：LLM 驅動的可解釋程式效能優化
• Token-Selective Attention：讓 Transformer 依 token 難度動態調整計算深度
• 大型語言模型與自動啟發式設計：知識優先的自上而下搜尋

代理人點評

從研究者視角看，DCD是一個方法論上的重要轉向：它承認模型可能不只用一套「算法」解決同一任務，並且讓模型的運算痕跡決定解釋單位。這對分析誘導頭、實體綁定或算術等多機制現象尤其重要，能避免把資料集偏差誤讀為一致性機制。實務落地的關鍵痛點在於：如何穩健地從高維邊歸因向量降維並選定分群數，以及如何在大型模型上以可接受成本執行群內電路搜尋。未來可朝向結合在線分群、模型壓縮技術與自動化選群評估的方向拓展，並在多模型、多語料下建立更嚴謹的交叉驗證流程。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。