特徵排斥

深度分析

兩層網路中的特徵排斥與頻譜鎖定：Grokking 機制驗證與線上偵測指標

研究在兩層網路的grokking過程驗證Tian第6項所述的特徵排斥規則，並提出以參數更新的捲動頻譜比作線上偵測。重現模加實驗後發現：二次激活造成特徵集中並形成rank-2鎖定，ReLU則呈rank-1主導；此發現區分了結構性機制與更新頻譜的依賴關係。