edge-of-stability

深度分析

隨機自我穩定化：解析 SGD 噪音對全批次銳度低於 2/η 的抑制機制

此研究把近期對全批次梯度下降（GD）在 Edge of Stability（EoS）現象的分析，延伸到常用的微批次隨機梯度下降（SGD）。