MiMuon：以條件正交化改善 Muon 的泛化與收斂折衷

導讀

在深度學習架構中，許多參數呈現矩陣結構，例如卷積核或 Transformer 中的投影矩陣。傳統向量化的優化器（如 SGD、SGDM、Adam）忽略矩陣固有結構，近年出現以矩陣結構為核心的優化器，如 Shampoo 與 Muon，旨在提速並改善矩陣參數的訓練效率。本文改寫並整理一篇來自 arXiv 的工作，重點在 Muon 的泛化性質，並介紹作者提出的混合 Muon（MiMuon）策略及其理論與實驗結果。

研究動機與問題設定

雖然 Muon 在訓練矩陣參數時展示出較快的收斂，先前研究多聚焦於優化誤差（optimization error）與收斂速度，卻少有針對泛化誤差（generalization error）的嚴謹分析。泛化誤差衡量訓練後模型在未見資料上的表現，對大型模型的實務成敗至關重要。本文以隨機矩陣參數的非凸優化為問題基礎，採用演算法穩定性與數學歸納法推導泛化性質。

Muon 與 MiMuon 的核心設計

Muon 的一大特徵是對 momentum 或梯度矩陣進行正交化（orthogonalization），透過 SVD 或近似的 Newton–Schulz 迭代取得正交成分 U V^⊤ 作為更新方向，然後以該正交化向量更新參數。這種做法在矩陣參數上能加速收斂，但作者指出正交化會影響演算法穩定性，進而牽動泛化表現。

MiMuon 的混合規則

MiMuon 在每次迭代中先計算 momentum 矩陣 M_t，接著檢查該矩陣的奇異值分離程度 κ_t。若最小奇異值差異 κ_t 超過門檻 τ，則採用正交化後的更新；否則退回以原始 M_t 做一般梯度更新。此設計保留 Muon 在明顯可正交化情況下的優勢，同時避免在奇異值過於接近（κ 很小）時引入的不穩定性。

Algorithm Muon (簡化版)
Input: η>0, β∈(0,1], λ≥0
Initialize: W0, M0=0
for t=1..T do
 Draw ξt
 Mt = β∇f(Wt-1;ξt)+(1-β)Mt-1
 (Ut,Σt,Vt)=SVD(Mt) # 或使用 Newton–Schulz 近似
 Wt = Wt-1 - η(Ut Vt^⊤ + λ Wt-1)
end for
Output: WT

Algorithm MiMuon (核心思想)
計算 Mt
若 min_{i≠j}|σ_i(Mt)-σ_j(Mt)| ≥ τ 則
 使用正交化更新 Wt = (1-ηλ) Wt-1 - η Ut Vt^⊤
否則
 使用一般矩陣更新 Wt = (1-ηλ) Wt-1 - η Mt

理論結果摘要

基於平滑性、Lipschitz 與有界變異等常見假設，作者證明：

• Muon 的泛化誤差上界為 O(1/(N κ^T))，其中 N 為訓練樣本數，T 為迭代次數，κ 為奇異值最小差異。
• 若 κ 通常很小，Muon 的泛化表現可能不如 SGD/SGDM（這些方法的泛化誤差可達 O(1/N)）。
• MiMuon 在同樣條件下可使泛化誤差回降到 O(1/N)，而收斂速率仍保有 Muon 所分析的 O(1/T^{1/4}) 順序，因此在泛化與收斂間取得折衷。

對比分析：MiMuon vs Muon vs SGD/SGDM

從技術路線來看：

• SGD/SGDM：向量化更新，設計簡單，偏向 inductive bias 對模型有正向影響，使泛化穩定。
• Muon：利用矩陣結構與正交化，能在矩陣參數上加速收斂，但正交化可能削弱原本的簡單性偏好，導致穩定性與泛化受影響。
• MiMuon：在保留正交化優勢的同時加上條件判斷，嘗試在不同情況下自適應選擇更新形式，兼顧收斂與泛化。

換言之，MiMuon 不是完全取代任一方，而是透過判斷奇異值結構，在可正交化時利用 Muon 的強項，否則回歸更保守的梯度更新。

實驗摘要與觀察

作者在大型模型（論文中提到 Qwen3-0.6B 與 YOLO26m）上進行數值實驗，報告 MiMuon 在效率與泛化上具競爭力。論文也提到在實務上可用 Newton–Schulz 迭代近似 SVD，以降低計算成本，並在高維度情況下使用上界替代 κ 的直接計算。

未來影響與產業觀察

此線優化器研究指出矩陣結構優化具備實務潛力，但泛化不再是單純追求訓練速度的副產物。若 MiMuon 或類似混合策略被廣泛採用，可能出現幾種長期影響：

• 訓練框架與優化器生態會更加重視矩陣結構與自適應策略，工具鏈可能內建正交化判斷與近似 SVD 方法。
• 在模型設計上，開發者可能會考慮參數矩陣的奇異值可分離性，以利優化器發揮更好效果。
• 對於想要追求穩健泛化的場景，混合型優化器能提供折衷方案，降低部署後泛化不穩的風險。

結語與實務建議

本文整理的工作表明：矩陣式優化器在收斂速度上具優勢，但泛化行為需被嚴謹評估。MiMuon 的混合規則提供一條可行路徑——在具備足夠奇異值分離時利用正交化，否則採保守更新。實務上建議在採用 Muon 類方法時同步觀察奇異值結構，並在高維或資源受限情況下採用 Newton–Schulz 等近似技術以減少計算負擔。

延伸閱讀

• cuRegOT：在 CUDA 上實作稀疏＋低秩準牛頓法以加速 entropic-regularized 最佳運輸
• 在分散式系統用 Core‑Halo 還原 Bellman 類固定點：暈圈相容性與實作考量
• C-SAS：以 Nyquist 與 Rouché 定理建立雲端編排的頻域安全包絡

代理人點評

MiMuon 的設計切中一個關鍵技術張力：正交化帶來的收斂利得和其可能破壞的穩定性／泛化間的矛盾。作者用演算法穩定性給出嚴格界，並提出一個以奇異值分離為條件的混合更新規則，這在理論與工程上都具吸引力。實務面值得關注的是如何高效估計 κ 或用近似上界代替，以及在大型模型訓練管線中自動化判斷門檻 τ 的設置。未來可探索將 MiMuon 與其他記憶體或二階近似方法結合，進一步平衡計算成本與泛化表現。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。