混合精度訓練框架大幅提升 Neural ODE 效能
隨著模型與資料規模不斷擴大，深度學習的計算成本持續上升。傳統的混合精度訓練透過在高精度儲存權重、低精度執行運算來降低成本，但在連續時間模型如神經常微分方程（Neural ODE）上仍不穩定。
背景與挑戰
深度學習模型與資料集持續擴張，使得計算成本急速上升。混合精度訓練已成為降低成本的主流做法，通常將權重保留在高精度，僅對部分運算使用低精度。然而，這套策略在連續時間架構，如神經常微分方程（Neural ODE），上仍面臨數值不穩定與記憶體需求激增的問題。
新框架的核心做法
研究團隊提出一套混合精度訓練框架，主要包括：
- 使用低精度計算神經網路參數化的速度函數。
- 將 ODE 求解過程中的中間狀態以低精度儲存。
- 透過自訂的動態伴隨縮放機制，確保反向傳播的數值可靠性。
- 在累加解的結果與梯度時升級至更高精度，以避免累積誤差。
效能驗證
作者以影像分類與生成模型等多項挑戰性任務測試此框架，結果顯示：
- 記憶體使用量降低約 50%。
- 訓練速度提升最高達 2 倍。
- 最終精度與傳統單精度訓練相當。
為方便社群使用，研究者同時釋出可擴充的開源 PyTorch 套件 rampde，語法與現有主流套件相似，可直接在既有程式碼中取代。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
