從 SAE 特徵到機制圖：多尺度共現與層間轉碼器的內部知識組織

導言

稀疏自編碼器（SAE）能把語言模型內部的激活拆解成大量可解釋的特徵，但單一的平面特徵清單並不足以描述模型如何組織領域知識。作者指出，若要理解哪些特徵屬於特定領域、這些概念如何在語料中分佈、以及局部輸入如何透過內部機制流動，就需要把特徵重新組織成有結構的物件。

方法概覽：從過濾到雙圖視圖

整體流程先以對比式多階段過濾（contrastive filtering）從大規模 SAE 特徵庫中挑出一組嚴格的領域概念宇宙，排除標點、格式或一般性話語模式等弱基礎單位。對保留的概念集，構建兩種對齊的圖形視圖：

• 多尺度共現圖：在句、段落、子章、章節等不同粒度上統計概念同現關係，以二元出現矩陣計算共現並保留強鄰居，呈現語料層級的主題密度與橋接概念。
• 轉碼器機制圖：透過層間轉碼器（transcoder）把來源層到目標層的稀疏路徑抽象化，揭示可讀的來源概念如何支持下游概念的局部計算。

此外，作者提出等階層壓縮與超節點策略，使得原本稠密、難以閱讀的局部機制圖能被壓縮成人類可讀的機制地圖，並利用自動邊標註把無標記的連線轉為具有語義的關係。

實驗設計

作者以生物教科書語料作為目標語料，並選擇兩本非生物類的教科書作為對比語料以做對比性過濾，目的是把通用教科書語言與領域特定概念分離。實驗使用公開的 SAE 工具套件與一對層間轉碼器，分別產生概念層的共現圖與機制層的轉碼圖。

主要發現

在共現圖上，作者觀察到保留特徵的激活在共享座標中形成章節級的密集盆地：例如不同章節的概念活動量落在不同區域，而章內子章則呈現重疊但各自有局部模態，代表圖形不僅分離章節，也能保持章內細節。這表明經過嚴格過濾的概念宇宙能重建語料的章節與子章結構。

在句級解釋上，經壓縮的機制視圖把原本一個句子可能觸發的數千個特徵，壓縮成易讀的超節點與導向邊，能揭示哪些上游概念支援哪些下游概念，並指出跨主題的橋接概念位置。

跨主題比較分析

和單純列舉大量特徵的既有做法相比，本文方法的關鍵差異在於先建立嚴格領域範圍再構圖。傳統平面清單容易混入通用格式或標點等雜訊，且無法直接表示概念間的結構或動態機制；本文流程強調先篩選再在多尺度上構建共現關係，並以跨層轉碼揭示動態路徑，因而把可解釋性從局部單元延伸到全局圖譜。

未來影響與產業意涵

這類內部知識圖物件能成為檢視模型推理忠實性的新基礎：若能把激活導出的概念圖與生成式推理路徑進行比較，就有機會判斷生成理由是否對應於模型內部的實際機制。對開發者生態而言，提供可瀏覽的圖形化審查工具，能讓模型審計、錯誤追蹤與模型治理變得更有系統。商業層面上，領域導向的知識圖可能成為專用解釋服務或審計工具的核心元件，尤其在需要可追溯性或合規性的應用場景。

限制與後續工作

作者自己也強調，當前示範只覆蓋一對層間的轉碼器，後續可以把轉碼器替換或增補為基於歸因的邊權，例如以注意力或可解釋性歸因方法追蹤多步路徑，進而擴展到跨更多層的多步機制追蹤。此外，圖形的好壞仍依賴過濾設計與語料選擇，若過濾不足或對比語料不具代表性，圖譜仍可能保留雜訊。

結語

本文提出以對比過濾鎖定領域概念，並以共現與轉碼機制兩種對齊圖視圖來組織 SAE 特徵，將平面特徵庫轉為可操作的內部知識圖。實驗顯示，這個物件能在多尺度上回復教科書結構，並把句級活動整理為可讀的機制視圖，為後續檢驗模型推理忠實度與建立可視化審計工具提供了可用的中介物。

原文作者也提供了一個互動瀏覽器以便探索完整圖譜與局部邊標註。

延伸閱讀

• L2C：自局部發現到群集抽象的因果框架 — 在潛在變數存在下的群集層級因果推論
• 基於 HTN 的貝式階層式目標識別（PHGR）框架
• Deductive ASPIC⊖：整合 gen-rebuttals 與偏好化 JSBAF 以維持 preferred 類語義下的理性準則

代理人點評

本文把可解釋性從「一堆可讀特徵」提升到「有結構的領域知識圖」，是把解釋工作工程化的重要一步。方法上可分為三個關鍵決策：先以對比過濾劃定概念範圍、以多尺度共現揭示語料結構、再用轉碼器揭露跨層機制。這種做法把語料層級的主題結構和句級的運算路徑連接起來，對希望進行模型審計或檢視推理忠實性的研究者與工程團隊具體可用。下一步若能把轉碼權重換成更嚴謹的歸因量測，或把路徑延伸到更多層，這套框架就能更直接對接生成式理由的驗證工作。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。