等變（Equivariant）優化器設計：針對嵌入、語言模型輸出頭、SwiGLU 與 MoE 路由器的層級策略

導言

深度學習模型的參數多以矩陣或張量形式出現，而主流優化器如 Adam、Adafactor、RMSprop 等採取座標式逐元素更新，將整個模型參數視為一個長向量。這種做法在工程上方便且實證上常見，但會忽略矩陣層本身具有的幾何與對稱結構。例如嵌入矩陣的列與行代表詞彙表與隱藏向量空間，SwiGLU 中的投影層具有中間神經元置換對稱性，MoE 路由器則對專家索引有置換與共享 logits 平移的不變性。

設計原則：層級對稱相容

本文提出一條簡潔原則：優化器的更新映射應當對應於參數所在層的對稱群並具有等變性。換言之，當參數或其梯度在該層可被某一對稱變換作用時，更新後的結果應以相同方式變換。這個原則把優化器設計從「把矩陣攤平成向量並逐元素處理」轉向「在矩陣幾何下設計更新規則」。

從正交到置換：不同對稱群導出不同優化器

若一個矩陣層在左、右兩側都允許正交變換（如典型的全連接或注意力投影），那麼自然的等變要求會導向雙側正交（bi-orthogonal）不變的更新，對應於譜類（spectral）優化器。譜優化器透過保持梯度方向的奇異向量結構來更新，相關實現包括極分解或極因子近似所產生的 polar 類方法。

嵌入與語言模型輸出頭（LM head）則有一側為詞彙索引軸，該軸只允許置換（permutation）而非任意正交旋轉；另一側仍為特徵空間可允許正交變換。這種混合對稱導致單側譜（one-sided spectral）、列範數（row-norm）或混合型更新成為更合適的選擇，能在保留詞彙索引結構的同時體現特徵空間的譜性質。

SwiGLU 類 MLP 的上、下投影具有中間神經元的置換對稱性，這啟發出行導向（row-aware）與列導向（column-aware）兩類變體，分別針對 gate/up 與 down 投影給出不同處理。

對於 MoE 路由器，列軸對應專家索引並具置換性，同時路由器輸出對整列共享的 logits 平移具有不變性。合適的路由器更新因此應結合置換等變與中心化的列範數或左側譜更新，能減少訓練期間的損失波動。

統一視角：譜優化器與極分解

作者將這些優化器統一到等變視角下，說明當更新映射在正交群下等變時，會自然導出譜類方法。極分解 polar(D)=U V^T（若 D 的 SVD 為 U Σ V^T）提供了一種保留奇異向量結構的更新機制，並賦予方法雙側正交等變性。這個視角也將一些先前獨立提出的方法納入同一類別，如 Muon、Scion、PolarGrad 等。

層級優化器族與實作要點

基於對稱群的分析，文中提出一套層級分配表：每種主要的矩陣型參數指派一種或一組等變更新，包括 RightPolarGradM、LeftPolarGradM、RowNormM 與 HybridPolarGradM 等變體。這些更新在實作上通常需要對梯度做簡易的矩陣分解、列範數縮放或中心化處理，並能與常見的動量機制整合。

端到端預訓練實驗

為檢驗設計原則的實際效益，作者在多個語言模型預訓練任務上替換部分或全部大型矩陣的 AdamW 更新，並比較對應的等變更新。實驗涵蓋密集模型（Qwen3-0.6B 風格、Gemma 3 1B 風格）與稀疏 MoE 架構（如 OLMoE-1B-7B 與縮小版 gpt-oss）。

結果顯示：在詞彙索引量大或路由器敏感的設定下，用 row-norm 或 hybrid 等變更新替換 AdamW 的 embedding、LM head 或 router 更新，能穩定地降低最終驗證損失。對較小密集模型的改善較為小幅，但在較大型或稀疏 MoE 配置上改善更為明顯，且在若干情況下減少了訓練過程中的損失尖峰。

跨主題對比分析

與座標式自適應方法相比，等變優化器不再把矩陣視為獨立坐標集合，而是保留行列結構、奇異向量或置換等不變性。這意味著在參數呈現低秩或強相關梯度方向時，譜類與列範數更新能更直接利用這些結構；座標式方法雖然實現簡單且在超參數遷移上方便，但可能丟失重要的矩陣幾何資訊。

與僅使用正交譜方法相比，單側譜或列範數等變體在保護詞彙或專家索引結構時更為合適，這種針對層級對稱的細緻化設計，是本文提出的主要區別。

未來影響與產業意涵

從短期看，層級對稱相容優化器能作為現有訓練堆疊的替代或補充選項，尤其在大型詞彙表、稀疏 MoE 或包含大量投影矩陣的模型上帶來驗證損失與穩定性改善。對於開發者生態，這鼓勵從「單一優化器通吃全模型」走向「架構—優化器協同設計」，未來可能促成框架層級提供可插拔的層級優化策略。

中長期看，若此類等變方法在更多大尺度基準上持續展現一致收益，可能改變訓練規模與超參數遷移的慣例，並推動對優化理論在矩陣幾何下的更深入研究。此外，在資源敏感或稀疏化技術盛行的場景，能更好地結合模型結構與訓練演算法，進一步提升效能或收斂可靠性。

限制與後續方向

本文的結論基於一系列預訓練實驗與等變推導，但實務採用仍需考量計算成本、實作複雜度與可擴展性。未來工作可探索更高效的奇異向量近似、更廣泛的參數類別（如卷積或自注意力權重張量）的等變更新，以及與超參數搜尋流程的整合策略。

結語

提出的層級對稱相容原則，將優化器設計從座標層次提升到矩陣幾何與對稱群的視角，為不同參數類別導出專屬的等變更新。端到端預訓練實驗表明，這種架構—優化器協同設計在多種語言模型設定下帶來穩定且可觀察的改善，值得在更廣泛的任務與模型規模上進一步驗證。

延伸閱讀

• 自適應承諾深度：在 VLM 中學習何時重規劃以優化長程視覺推理
• CRAFT：結合原子陳述、ASR 與批判迴圈的多影片來源可追溯問答管線
• ATR 自適應表格檢索：查詢閾值與滑動視窗重排提升 text-to-SQL 精準度與效能

代理人點評

本文以幾何與群論視角重新思考優化器設計，核心觀點是讓更新規則與參數所在的層次對稱匹配。這既是理論上的統一性提升，也有實務上的收益：在嵌入、LM head、SwiGLU 投影與 MoE 路由器等常見矩陣類別上，專門的等變更新比通用座標式更新更能保留梯度的奇異方向與置換結構。對研發團隊來說，採納層級優化器需要衡量實作複雜度與運算代價，但在大型詞彙或稀疏專家系統上，這種架構—優化器協同設計有望成為提升收斂穩定性與最終泛化的一條可行路徑。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。