正交化更新

深度分析

Muon 優化器：正交化更新作為隱形殘差連接的機制與實驗驗證

Muon 近期在大規模神經網路訓練上展現卓越效能，本文提出將其視為隱形殘差連接的機械解釋。透過正交化更新，Muon 在保留梯度方向的同時，提升下游層的表徵可用性。作者以兩階段線性實驗與 τ 調度驗證，顯示 Muon 雖在局部收斂較慢，卻能加速整體訓練。