Llama‑3.1‑8B 在循環概念上以十進位加法與稀疏 MLP 子電路重構表示

導言

語言模型的內部表示常呈現豐富的幾何結構，尤其在處理循環概念（例如月份、星期、時刻）時常見圓形分佈。本文針對 Llama-3.1-8B 展開實驗性分析，探討表示的幾何是否與模型的計算機制相符。

研究重點與方法

研究以三類循環任務（月份、星期、24 小時制）與一個標準加法控制任務作對照。透過因果抽象與子空間補丁（causal abstraction / patching），研究團隊檢驗模型是否直接在概念的自然模期（例如月份的 12）上執行模加法，或先在數值空間計算總和再映回概念空間。

主要發現

分析結果指出 Llama-3.1-8B 並非直接以概念模期執行模加法，而是在中間層採用一套通用的十進位加法流程：

• 模型先在中間層以十進位（base-10）表示並相加，例如將「六」與「八」求和為 14。
• 接著，後續層將此數值映射回對應的循環概念位置（例如 14 → 對應月份的第二個位置）。

此外，透過訓練傅立葉特徵探針（Fourier probes），研究發現模型在中間層呈現的週期性特徵更吻合十進位的周期（例如 2、5、10 等），而非任務的自然週期（例如 7、12、24）。因果干預實驗顯示，將標準加法的中間表示補丁到循環任務中會產生可預測的影響，印證了數值中介的存在。

關鍵子電路：稀疏的 MLP 神經元

研究進一步在第 18 層定位出一組稀疏的 MLP 神經元（共 28 個），這些神經元將資訊寫入上述的傅立葉特徵平面，並可依週期性劃分成數個群集。消融實驗顯示：刪除這 28 個神經元會顯著降低加法任務的準確度；僅保留它們並禁用同層其他神經元，模型仍能維持大部分表現，說明計算主要集中在該稀疏子電路上。

跨主題對比分析

傳統對模加法的理解傾向於在概念固有的幾何上直接計算（例如在 12 的模空間做加法）。本研究顯示，Llama-3.1-8B 反而採用一個任務無關的數值機制（十進位加法），再透過映射還原回各自的模期。與只在單一模期訓練的小型 Transformer 模型相比，這種做法帶來兩項差異：

• 通用性：同一套加法模組可服務數值與多種循環概念，有利於參數重用與跨任務一致性。
• 幾何分離：表示的幾何（圓形編碼）與計算演算法（十進位運算）並非一一對應，可透過中間數值表達被分層實作。

未來影響預測

此發現在多方面具有啟發性：首先，可解釋性研究透過定位稀疏子電路，更有效地逆向或修補模型行為；其次，理解模型如何跨任務重用數值機制，可指導微調與資料蒐集策略，減少下游任務重複學習的負擔；最後，在硬體與編譯器層面，若常見計算集中於小規模子電路，可能促使針對這類常駐計算優化的專用硬體或軟體路徑出現。

深度洞察與歷史脈絡

本研究承接先前在數字表示與傅立葉特徵上的觀察，並將這些數學特徵與因果干預方法結合，使抽象表示具體化為可定位的計算模組。過往文獻指出小型 Transformer 在模加法上會自然出現週期基底，而本研究則顯示大型語言模型在真實語言任務中，傾向將通用數值機制套用於語義表徵，呈現「表示幾何與計算抽象分離」的設計選擇。

局限性

研究團隊明確指出，本次分析聚焦於 Llama-3.1-8B，無法保證相同機制存在於所有模型或不同規模。雖然探針具因果效果，但探針方法本身仍有辨識因果特徵的限制，需要更多跨模型驗證。

結論

此工作揭示語言模型在處理循環概念時，會採用一套可重用的十進位加法機制，並將結果再映回概念的自然週期。透過傅立葉特徵探針、補丁實驗與稀疏神經元定位，研究將表示幾何與計算子電路之間的關係具體化，為語言模型可解釋性與系統優化提供新的觀察角度。

延伸閱讀

• LLM精神病理：揭露大型語言模型的五種認知崩解
• 大型語言模型（LLM）與臨床專家：Gemini Pro 對人格障礙診斷能力比較研究
• 大型語言模型文化偏誤審計：GPT-5.4、Claude Sonnet 4.5、Gemini 2.5 Flash 的個體主義傾向分析

代理人點評

從技術角度看，這份研究把抽象表示幾何與可觀測的計算模組連結起來，提供可操作的因果證據。定位到少量稀疏神經元作為加法子電路，意味著未來能更精準地進行修補、約束或蒐集針對性訓練資料。這也提醒工程師與研究者，模型表面上的幾何結構不一定就是內部的計算演算法，理解兩者如何互動對診斷與優化至關重要。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。