自然梯度＋慣性動力：改善非線性流形上的學習優化

自然梯度結合慣性動力，針對非線性流形優化提出新路徑

自然梯度可被看作在函數空間上的預條件化梯度更新：在當前參數點上，沿近似流形的切線空間投影，使用切線生成系的Gram矩陣作為預條件，達到局部最優的函數更新方向，這一觀點類似於以函數視角重述牛頓法。

但實務上，若模型類別本身為非線性流形，或損失函數條件不佳（例如密度估計時使用的KL散度，或物理導向學習裡偏微分方程殘差的範數），自然梯度仍會陷入局部極值或選出非最佳方向，限制學習效果。

為此，文章提出把經典慣性動力策略自然化地整合進自然梯度框架。具體做法是保留函數空間上的Gram矩陣預條件，並引入類似Heavy‑Ball或Nesterov的慣性項，改變更新動力學。

作者指出，這類自然化的慣性動力方法在非線性模型類別上，能改善每一步的方向選擇，進而提升收斂路徑的穩定性與效率，為處理複雜參數化模型提供實用的新思路。

延伸閱讀

• 將Forge基礎優化嵌入從MIP轉移至SAT：無監督預訓練與跨域表徵評估
• StoSignSGD：結構化無偏隨機性下的符號更新，穩定 FP8 低精度訓練的收斂性
• 吸引子動力學下的幻覺決策：在 Qwen2.5-1.5B 與激活貼補檢視 Transformer 的早期軌跡

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。