混合精度訓練

速報

混合精度訓練框架大幅提升 Neural ODE 效能

隨著模型與資料規模不斷擴大，深度學習的計算成本持續上升。傳統的混合精度訓練透過在高精度儲存權重、低精度執行運算來降低成本，但在連續時間模型如神經常微分方程（Neural ODE）上仍不穩定。