EAGLE‑3

深度分析

NVIDIA EAGLE‑3 投機解碼加速 NeMo RL 生成：8B 模型提升 1.8 倍

研究指出在大型語言模型的強化學習後訓練中，生成階段佔65%以上時間，將投機解碼整合至NeMoRL可將生成速度提升至1.8倍，整體訓練加速1.4倍，並在235B模型上預估達2.5倍。此技術透過草稿模型與目標模型的驗證機制，保證輸出分佈不變，且在異步執行下亦能互補提升效能。