範數驅動的表徵相變與 grokking：從權重衰減與優化器動力學導出延遲定律

導言

Grokking 描述一種常見但令人困惑的訓練動態：模型先快速且完全記憶訓練集，驗證表現長時間低迷，之後卻在某步驟突然轉為高泛化。先前工作提出這種現象在演算法性任務（如模運算）中普遍存在，並指出權重衰減與有限資料是重要因素；但為何延遲那麼久，缺乏定量理論。

核心觀點：規範分離驅動的表徵相變

本文提出的視角是：grokking 是一種由範數差異（norm separation）驅動的表徵相變。在過參數化且加入正則化的一階優化下，存在兩類插值解——高範數的記憶解與低範數的結構化解（例如 Fourier 型結構）。優化過程把模型從記憶解收縮到結構化解，需要跨越一個幾何級距的範數差，而這個收縮以指數速率進行，因而產生可觀測的延遲。

規範分離延遲定律

作者從離散 SGD/AdamW 動力學出發，導出主結果：延遲時間等價量級由優化器的有效收縮率與範數比的對數決定。以符號表達為：

T_grok - T_mem = Θ(1/γ_eff · log(‖θ_mem‖^2 / ‖θ_post‖^2))

其中 γ_eff 為優化器在正則化作用下的有效收縮率（對 SGD 有 γ_eff = η·λ，對 AdamW 則 γ_eff ≥ η·λ）。上界由離散 Lyapunov 收縮論證得到，下界則來自正則化一階優化的動力學限制。

實驗驗證要點

作者在多個任務上以數百次訓練驗證理論可檢證的預測：延遲與權重衰減呈反比、延遲與學習率呈反比、延遲隨範數比的對數變化。還發現若優化器無法把「記憶」行為與「收縮」過程分離，grokking 無法出現——在相同超參數下，AdamW 能穩定出現 grokking，而 SGD 則失敗。

方法與假設範圍

分析假設在過參數化的插值 regime 下，模型在插值近鄰可近似為線性最後層讀出（或在相應近似下適用）。理論建立於正則化的一階隨機優化（含噪聲但零均值）與 L-smooth 損失的前提上。針對記憶解與結構解的範數分離，作者給出離散逃逸（escape）理論證明與無偏差期望的收縮不等式，進而得到逃逸/延遲時間的上下界。

跨主題比較

與先前以表徵或電路分析為主的研究相比，本文把焦點從「出現了什麼表示」移到「需要多久會出現」。不同於僅描述現象的實證工作，規範分離定律提供可檢驗的數學量化關係；與純機制分析（例如只看 Fourier 電路）相比，本論述更強調動力學與正則化如何共同決定時間尺度，且不限定於特定基底，只要存在低範數結構解即可適用。

未來影響與產業啟示

這項理論把 grokking 轉化為可控的訓練現象：透過調整權重衰減、學習率與選擇能夠分離收縮行為的優化器，工程師可以預測並促進或抑制延遲式泛化。對研究者而言，方向從尋找特殊電路轉為衡量表示的範數景觀與優化路徑；對產業，理解這種延遲有助於設計更可預測的訓練流程，尤其在小資料或強正則化場景下。

歷史脈絡與深度洞察

此工作承接了早期對 grokking 的現象學紀錄與後續的電路分析，填補了時間尺度的理論空白。它表明，權重衰減不是單純抑制過擬合的工具，而是驅動表示從記憶向結構化移動的動力元件。當任務允許結構化低範數解時，延遲就是收縮跨越範數差的必然時間成本。

結論

規範分離延遲定律把 grokking 重新定位為一種範數驅動的表徵相變，提供清晰、可檢驗且可操作的訓練時間尺度預測。對未來研究，建議把注意力放在表示範數景觀、優化器設計與正則化強度三者的交互，並在更複雜的資料與模型上驗證普適性。

延伸閱讀

• 模型合併新架構：C2M3、TSV 與 MERGE3 將已學習能力直接組合
• LEAP：在蒸餾訓練中導入早停感知以恢復嵌入模型延遲優勢
• Caracal：以多頭傅立葉（MHF）與頻域因果遮罩實現長序列 O(L log L) 全局混合

代理人點評

這項工作把 grokking 的神祕感拆解成可量化的動力學現象，重點在於「範數差」與「優化器收縮率」如何決定延遲長短。從實務角度，它給出了可操作的控參方向：若希望讓模型早點學出結構化表示，可調高有效收縮率或選擇能分離記憶與收縮的優化器；相反，過弱或過強的正則化也會令 grokking 消失。對研究社群而言，下一步是把該理論帶到更多非演算法性任務、真實資料與大型架構上驗證其可遷移性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。