深度分析
Adam-Aware In-Run Data Shapley:線性化鬼影近似實現高忠實度資料歸因
資料歸因是提升模型可靠性與效率的關鍵。本研究發現 SGD 代理方法與 Adam 真實貢獻相關性極低(R≈0.11),因此提出 Adam-Aware In-Run Data Shapley,透過線性化鬼影近似實現高效計算,忠實度達 R>0.99,吞吐量維持標準訓練的 95%。
深度分析
資料歸因是提升模型可靠性與效率的關鍵。本研究發現 SGD 代理方法與 Adam 真實貢獻相關性極低(R≈0.11),因此提出 Adam-Aware In-Run Data Shapley,透過線性化鬼影近似實現高效計算,忠實度達 R>0.99,吞吐量維持標準訓練的 95%。
深度分析
這篇論文提出一個解釋,說明為何在大型模型訓練中把 Adam 的兩個動量參數綁在一起(β1=β2)能帶來更穩定的行為。作者把這個現象形式化為「梯度尺度不變性」,並證明當且僅當β1=β2時,Adam 在一階近似上變得對梯度尺度不敏感。