FP4

深度分析

HiFloat4 4 位元浮點格式在 Ascend NPU 上的語言模型預訓練效能提升與穩定化技術

隨著基礎模型規模與資料量持續擴大，計算與記憶體需求急升。研究提出HiFloat4 4位元浮點格式於華為Ascend NPU上進行語言模型預訓練，並與MXFP4比較。實驗顯示在密集與MoE模型上，計算吞吐提升最高4倍，誤差控制在全精度的1%以內。