深度分析
Adam 優於 SGD：二階矩正規化提升高機率收斂速度
研究指出 Adam 在有界變異假設下的二階矩正規化，使其收斂上界僅呈 δ⁻¹/² 依賴；相較之下 SGD 必須承受 δ⁻¹ 的依賴。此理論分離解釋了 Adam 在實務上常勝 SGD 的現象，並暗示未來優化器設計可聚焦於更精細的二階統計正規化。
深度分析
研究指出 Adam 在有界變異假設下的二階矩正規化，使其收斂上界僅呈 δ⁻¹/² 依賴；相較之下 SGD 必須承受 δ⁻¹ 的依賴。此理論分離解釋了 Adam 在實務上常勝 SGD 的現象，並暗示未來優化器設計可聚焦於更精細的二階統計正規化。
深度分析
研究聚焦於 Stable Diffusion XL Turbo 的提示嵌入搜尋，將無梯度的 Sep‑CMA‑ES 與梯度式 Adam 進行比較。使用結合美學預測與 CLIPScore 的加權目標，於 36 個提示測試三種權重設定。結果顯示 Sep‑CMA‑ES 在目標值、資源佔用與影像相似度上均優於 Adam，證實其在推論時的有效性。