梯度追蹤

速報

DeMuon：去中心化矩陣最佳化新方法突破圖形拓撲限制

本研究針對去中心化矩陣最佳化提出 DeMuon，結合 Newton‑Schulz 正交化與梯度追蹤，能在重尾噪聲下保持迭代效率。理論證明其複雜度與最佳中心化方法相當，實驗顯示於不同圖形拓撲的 transformer 預訓練中，表現優於現有去中心化演算法。