自然梯度

速報

自然梯度＋慣性動力：改善非線性流形上的學習優化

研究聚焦在可微參數化的非線性流形上進行函數近似，指出自然梯度以切線空間生成系的Gram矩陣做為預條件，實現函數空間的局部最優更新；但在模型非線性或損失條件不佳時仍可能導致非最佳方向。本文提出將經典慣性動力方法（如Heavy‑Ball與Nesterov）自然化於自然梯度框架，示範可改善學習過程。