光譜帽

深度分析

Muon 優化器光譜帽：統一框架防止 nanoGPT、MoE 路由器與 FlashAttention 數值崩潰

Muon 優化器在尺度不變網路中會移除更新煞車，導致權重光譜範數失控。本研究提出光譜帽技術，在每次更新時移除對最大特徵值增長貢獻最大的方向，同時保留其他學習路徑。三個案例顯示：nanoGPT 輸出共變異數頂部分額從 0.74 降至 0.30、MoE 路由器避免秩一崩潰、FlashAttention 即時攔截 133K 特徵值危機。