NVFP4
Swin Transformer 對 NVFP4(FP4)量化感知訓練的魯棒性:架構、尺度與 QAT 食譜比較
針對腦瘤MRI像素級異常分割,本研究比較CNN、ViT與Swin三種架構在500K至15M規模及八種NVFP4四位元QAT食譜下之表現,發現Swin於各尺度對QAT食譜高度魯棒,先進食譜可避免注意力離散化並減緩大型CNN因梯度量化造成的效能衰退。
NVFP4
針對腦瘤MRI像素級異常分割,本研究比較CNN、ViT與Swin三種架構在500K至15M規模及八種NVFP4四位元QAT食譜下之表現,發現Swin於各尺度對QAT食譜高度魯棒,先進食譜可避免注意力離散化並減緩大型CNN因梯度量化造成的效能衰退。
深度分析
大型語言模型訓練成本高昂,TetraJet-v2 提出一套端到端的 4 位全量化訓練方法,全面使用 NVFP4 表示法於所有線性層的啟動值、權重與梯度。