光譜正交化

深度分析

Muon 優化器在矩陣分解任務中的表現評估：與 AdamW、GD 的比較

近期有研究提出Muon優化器透過近似正交化重塑梯度光譜，聲稱在大型語言模型上超越AdamW。本文以低階矩陣分解作為測試平台，系統比較多種超參數設定，發現Muon在大多數情況下未能持續優於AdamW，僅在非負矩陣分解上顯示少許優勢。此結果提醒需在受控測試中驗證新優化器的實際效益。