近正交特徵字典提升語言模型可干預性

機械可解釋性領域的核心假設是，語言模型中的有意義概念會以激活空間的線性特徵形式存在。若要讓這些特徵支援可靠的干預，改變單一特徵不應大幅影響其他特徵的作用。

然而實務上，特徵交織常導致干擾，使得局部干預可能產生意外的下游影響。受「獨立因果機制」原則啟發，研究團隊提出將內部特徵約束為幾乎正交的方式，期望促進模組化的表示，便於因果干預。

問題形式化與理論分析

作者將理想的孤立干預與實際模型輸出之間的差距，以特徵干擾來量化。進一步上界化特徵干擾的傳播，與特徵字典的自一致性（self‑coherence）掛鉤，並將這一差異對應到字典本身的正交正則化項上。

實驗驗證

在數學推理相關的概念上加入正交正則化後，模型仍保有原有的效能，同時對單一概念的干預變得更為孤立，干擾減少。實驗結果證實此正則化有助於提升干預的可控性與模組化。

相關程式碼已於 GitHub 公開。

延伸閱讀

• MoleCode：以 Subgraph–Node–Edge 圖形顯式語言提升 LLM 的分子拓撲推理能力
• Tavily 代理人深度研究：上下文工程與代幣效率的突破
• GPT‑OSS 代理式強化學習實驗與技術修正報告

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。