adaptive-optimizer

深度分析

Anon：以可調適應性 γ 與 IDU 統一 SGD 與 Adam 的優化器設計

研究指出適應性(pre-conditioner)是優化器在不同架構上表現差異的關鍵。Anon提出以實數γ連續調整適應性，並以增量延遲更新(IDU)取代硬式max追蹤以保收斂。實驗顯示Anon在影像分類、擴散及語言任務上能穩定超越既有優化器。