以 DINOv2 激活與穩定稀疏自編碼器重構 32,000 個視覺概念：Minkowski 幾何視角

導言

視覺 Transformer（ViT）在自監督訓練下，像 DINOv2 一樣能夠產生豐富且通用的圖像嵌入，但這些內部表徵的本質仍不明朗。本文以「線性表徵假說」為起點，採用穩定稀疏自編碼器（Stable SAE）將 DINOv2 的 token 激活分解為一組概念字典，進而釐清下游任務如何選用與組合這些概念，最後提出一種以 Minkowski 幾何為基礎的替代理念。

方法摘要：從激活到 32,000 個概念

研究以 DINOv2-B 的多個註冊層輸出為激活來源（token 數 t 與維度 d 均由模型輸出決定），透過穩定 SAE 將整批 token 激活矩陣 A 分解為非負稀疏係數 Z 與字典 D。作者設定字典大小 c=32,000、每 token 最多 k=8 個活躍碼，並以來自大量影像的 k-means 128,000 個中心近似激活凸包，以確保字典原子位於資料分佈內。訓練後獲得的字典被用作概念庫，並以線性探針與重要性度量分析各概念對下游任務的貢獻。

任務導向的概念動員

透過將下游線性頭的權重映射回概念空間，發現不同任務實際上調用字典中不同的子集：分類(head)會動員較廣的概念集合，而分割與深度估計則集中於更緊湊、低維的概念子空間。對每個任務挑選重要概念後的相似性與譜分析顯示，任務相關概念彼此之間具有更高的對齊度與更快衰減的奇異值分佈，支持「功能子空間」的觀念。

發現的重要模式

研究指出若干直觀但有指標性的現象：所謂的“Elsewhere”概念會在物體外部 token 上激活，且其存在性依賴於圖中物體的出現，呈現一種條件性的「非於此但存在」訊號；分割任務偏好邊界偵測原子；深度估計則調動與單目深度線索相符的幾類概念，這些結果與視覺神經科學的觀察有呼應之處。

幾何與統計觀察：從稀疏到部分稠密

從字典與編碼的統計特性看，表示並非純粹稀疏且互相正交；相反地，字典從隨機初始化演化出較高的相干性，且在影像內的 token 位置上，激活呈現局部連通的低維結構；這些跡象暗示單純的線性稀疏表徵不足以完全描述模型的內部組織。

Minkowski 表徵假說（MRH）

綜合上述證據，作者提出 Minkowski 表徵假說：token 的形成可被視為對少數原型（archetypes）進行凸混合，概念以靠近原型與屬於有界區域的方式被表達，而非無界的線性方向。此一視角受啟發於 Gärdenfors 的概念空間理論，同時與多頭注意力作為凸混合求和的運算機制相符；換言之，概念空間由原型界定的區域所構成，任務透過選擇性激活這些區域來完成推論。

跨主題對比分析

相較於傳統以最大化線性獨立性與最小互相干擾為目標的 Grassmannian 型稀疏基底方法，MRH 強調原型化與區域化結構。傳統字典學習重視全局正交與極端稀疏以增加可檢索性，而本文觀察到的部分稠密與局部連通性，支持一種更符合語義與感知結構的表徵路徑。

未來影響預測

若 MRH 被廣泛接受，會影響可解釋性工具的設計方向——從尋找全局線性原子，轉向發掘原型與區域邊界；在模型控制與微調上，策略可能更多關注如何操控原型混合與調整區域邊界，而非單純抑制或放大線性方向。對於開發者生態，這意味著可重用的概念庫將以「原型集合」形式出現，便於跨任務遷移與語義對接。

結語

本文把 DINOv2 的視覺表徵研究帶向一條新的幾何路徑：由線性稀疏走向以原型與有界區域為核心的 Minkowski 表徵。這不只是解釋性理論上的修正，也為實務上的調教與安全、遷移等議題提供新的觀察角度，值得在更多模型與資料域上做延伸與驗證。

延伸閱讀

• EΔ-MHC-Geo Transformer：以資料驅動Cayley旋轉與Householder反射實現精確正交殘差
• HilbNets：基於Hilbert纖維束的Sheaf Laplacian頻域濾波與離散收斂
• Semantic Level of Detail（SLoD）：以龐加萊流形上的熱核擴散實現多尺度語意表徵

代理人點評

本文透過大規模穩定稀疏分解，把自監督嵌入拆解為可檢視的概念原子，並從幾何與任務選擇性兩面指出，視覺表徵可能並非由無限伸展的線性方向構成，而是靠近少數原型、屬於有界區域的凸混合。這種轉向對可解釋性工具、微調策略與跨域遷移有實際影響：研究者應把注意力從追求全局正交的字典，擴展到原型邊界與區域結構的發現與操控上。同時，需以更多模型與資料驗證 MRH 的普適性與操作性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。