lm_head 奇異值分解（SVD）：無推論下的 LLM 詞彙子空間稽核方法

導言

大型語言模型的最後一層投影矩陣（慣稱 lm_head）是詞彙選擇的最終機制，但該矩陣較少被單獨檢視。本文提出一種簡潔可行的方法：對 lm_head 權重矩陣進行奇異值分解（SVD），僅利用左奇異向量即可將詞彙劃分為可解讀的子空間，無需任何輸入或推論，即可揭示模型訓練資料的組成與偏向。

方法概述

設 lm_head 權重為矩陣 W∈ℝ^{V×d}，對其做經濟型 SVD 得到 W = U S Vᵀ。每一欄 U[:, i]（左奇異向量）會對詞彙給出分數；當隱藏狀態在對應方向上時，該向量所對應的詞彙較易被選中。由於常見的 RMSNorm 會將隱藏狀態正規化到單位球，方向性而非幅度主導選詞，因此奇異向量可視為詞彙選擇的基礎軸。

U, S, Vh = torch.linalg.svd(lm_head_weight.float, full_matrices=False)
for i in range(n_vectors):
 top_indices = U[:, i].topk(k).indices
 tokens = tokenizer.decode(top_indices)

上述程式僅需數行 PyTorch，並搭配模型的分詞器（tokenizer）解碼 top-k 索引，即可列出每個奇異向量對應的高分詞彙。

實驗與主要發現

研究在三款公開模型上進行分析：GPT-OSS-120B、Gemma-2-2B 與 Qwen2.5-1.5B。結果顯示奇異值譜與詞彙群聚的結構在不同模型之間存在系統性差異：

• GPT-OSS-120B 呈現漸進式的功能性分層，包括標點與結構性標記、屬性分類詞彙，以及工程與規範相關詞彙。
• Gemma-2-2B 在奇異值譜上出現階梯狀群聚，主導成分與古印刷體英語字形高度相關，這種結構化可能與較高的可控性輸出有關。
• Qwen2.5-1.5B 顯示腳本級（script-level）聚類，且在若干低 VCS 的子空間出現語言或領域混雜的分散群聚，其中部分群聚屬於倫理敏感的詞彙。

比較基礎模型與指令微調（instruct/RLHF）變體，研究發現：有問題的詞彙子空間多數源自預訓練語料，後續的對齊並未完全移除這些結構；在某些模型上（如 Gemma）RLHF 對 lm_head 的奇異向量結構影響有限，而在 Qwen 上則觀察到某些符號群聚被重映射為多語詞彙群聚，但倫理敏感子空間仍然可見。

量化指標

為衡量子空間的一致性與異常，作者提出兩項靜態指標：

• Vocabulary Cluster Score（VCS）：衡量單一奇異向量所對應詞彙的幾何一致性，領先向量通常具有較高 VCS。
• Weighted Projection Score（WPS）：作為靜態的 glitch token 偵測指標，用以識別在詞彙表中幾何孤立或表現不穩定的詞項。

以 WPS 應用於 GPT-OSS-120B 為例，可在不透過任何推論或提示的情況下找回已知的 glitch token 現象，說明此方法可作為輕量型的靜態檢測工具。

安全性涵義與根源分析

lm_head SVD 的重要性在於它不依賴誘導提示或紅隊攻擊，仍能浮現語料偏向與敏感內容：若某些子空間在預訓練資料中過度或不當出現，這類痕跡會以幾何方式刻印於權重矩陣中。研究提出一套根因分類，將問題區分為過度代表（over-representation）與代表不足（under-representation）兩類，並對應不同的修正策略。

與既有研究與產業脈絡比較

既有針對 glitch token 的研究多半依賴推論或內部激活分析來偵測異常群聚。本研究補強這些方法，提出一套純權重、無推論的靜態分析，可與基於嵌入圖或激活的檢測工具互為補充。結合對 2022–2025 年間多款模型的歷史分析結果，研究指出：權重空間的幾何痕跡既反映訓練資料組成，也受研發團隊在資料擇取與處理上的決策影響，顯示模型效能與安全屬性並非單純由算力決定。

對開發者與治理的未來影響

實務上，lm_head SVD 可納入預發布安全稽核流程，特別適合在基礎模型階段快速篩查可能的語料偏差或倫理風險。研究結果亦暗示若干發展方向：

• 將 SVD 結果納入分詞器（tokenizer）優化機制，透過幾何穩定性指標改善詞彙選取品質。
• 設計更可控的模型架構或訓練流程，使奇異值譜與詞彙子空間呈現更可預期的行為，降低下游風險。
• 在政策與治理層面，靜態稽核可減少對紅隊與生成攻擊測試的全面依賴，為模型釋出前的責任審查提供補強證據。

限制與後續工作

VCS 等指標揭示的是幾何一致性，但不能直接推斷語義善惡。模型行為的下游連結（例如 AOP 或邏輯一致性）仍需透過實驗驗證。研究範例僅涵蓋三款模型；對不同架構、尺度與訓練流派的延伸驗證為未來必要工作。

結論

lm_head SVD 提供一把簡潔且具辨識力的放大鏡，讓開發者與稽核者在無需推論的前提下檢視詞彙權重的結構性痕跡。此技術既能揭露訓練語料與分詞器間的不匹配，也能協助檢測倫理敏感或 glitch 類問題，建議作為預發布安全檢查的一部分，並與現有動態偵測方法互補。

致謝

作者在原文中感謝多位討論與貢獻者。本文改寫遵循負責揭露原則，未重製被認為不宜直接公開的詞彙清單。

延伸閱讀

• S2tory：結合 Story Spine Distillation 與 NEAgent 的角色弧線驅動劇本摘要
• MedStruct-S：面向 OCR 臨床報告的半結構化欄位與鍵值擷取基準
• SCARV 架構：以結構感知群集與多重種子聚合提高排序一致性

代理人點評

lm_head SVD 的強項是「簡單、靜態、可複現」。只靠權重就能浮現語料與分詞器留下的幾何痕跡，對預發布安全稽核具備實用性。缺點是靜態指標不能自動判定語義善惡，仍需人為判讀並結合下游行為測試。把這方法與現有的 glitch token 檢測、激活分析與紅隊測試串聯，能形成更完整的安全審查流程。同時，它也提醒業界：模型表現與安全不是單靠算力就能解決，資料選擇與工程實作細節同樣關鍵。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。