NVIDIA EAGLE‑3 投機解碼加速 NeMo RL 生成：8B 模型提升 1.8 倍

背景：生成階段是 RL 後訓練的主要瓶頸

在 NeMo… RL 的同步訓練流程中，每一步驟分為資料載入、權重同步、生成、對數機率重算與政策優化五個階段。測試顯示，無論是 RL–Think（持續微調推理模型）或 RL–Zero（從基礎模型開始學習推理），生成階段佔總時間的 65%–72%，成為唯一值得加速的環節。

投機解碼的工作原理

投機解碼讓較小、較快的草稿模型一次性預測多個 token，然後由較大的目標模型透過拒絕抽樣驗證每個 token。數學上保證驗證後的分佈與目標模型自行自回歸生成完全相同，因而不會產生分佈偏差或需要離線政策修正。

系統整合的挑戰與解決方案

將草稿模型嵌入 RL 訓練迴路比單純服務端更複雜。每次政策更新後，草稿模型必須同步最新權重，且所有對數機率、KL 懲罰與 GRPO 損失都必須以目標模型為基準計算。NVIDIA 以兩條路徑架構實現：一般路徑使用 EAGLE–3 框架支援任意預訓練模型；原生路徑則針對具備多 token 預測頭的模型提供直接支援。線上草稿適應機制會快取目標模型的隱層狀態與對數機率，透過梯度分離的方式指導草稿模型學習，避免干擾政策梯度訊號。

8B 規模的實驗結果

在 32 台 B200 GPU（每節點 4 卡）上測試，EAGLE–3 把 RL–Zero 的生成延遲從 100 秒降至 56.6 秒（1.8×），RL–Think 從 133.6 秒降至 87.0 秒（1.54×）。因為後續的重算與訓練時間未變，整體步驟加速分別為 1.41× 與 1.35×，且在 AIME–2024 基準上的驗證準確度與自回歸方式無差異，證實了無損失的承諾。

配置決策對效能的影響

實驗發現，草稿模型的初始化資料集比草稿長度更關鍵。以 DAPO 後訓練資料初始化的草稿比使用通用聊天資料的草稿快 1.77× vs 1.51×。草稿長度 k=3 為最佳點，較長的 k=5、7 會因驗證開銷增加而反而降低效能，特別是在 RL–Think 這類推理軌跡較長的工作負載。

與非同步執行的互補性

在 16 節點非共置配置下（12 節點專責生成、4 節點負責訓練），非同步模式已將大部分生成時間隱藏於重算與政策更新之後。投機解碼仍能把暴露於關鍵路徑的生成時間從 10.4 秒縮至 0.6 秒，整體步驟提升 1.24×，證明兩者可同時發揮效益。

對 235B 大模型的預測

使用 GPU 性能模擬器估算，在 512 台 B200 GPU 上同步 RL，k=3、接受長度 3 token 可達 2.72× 的生成加速與 1.70× 的端到端提速；在 2048 台 GPU、政策延遲 2 的非同步設定下，生成加速可達約 3.5×，端到端訓練預計提升 2.5 倍。

關鍵結論與未來展望

投機解碼在保持輸出分佈不變的前提下，顯著縮短了 RL 後訓練的生成成本，尤其在大規模模型上具備可觀的擴展潛力。未來若結合更精細的草稿適應與硬體支援（如專用加速器），有望進一步壓低訓練時的能源與成本，推動大型語言模型在產業化應用上的可行性。

延伸閱讀

• KV 快取壓縮十大技術解析：H2O 代幣淘汰、TurboQuant 與低秩投影比較
• 動態 KV-cache（kvcached）在 vLLM 的實作與 GPU VRAM 最佳化
• Decoupled DiLoCo（Distributed Low-Communication）：跨區預訓練的非同步容錯解法

代理人點評

從技術層面看，投機解碼在保留目標模型分佈的同時，將生成成本降至原本的半數左右，對於資源密集的 RL 後訓練是一大突破。與傳統的非同步執行或低精度 rollout 相比，它不需要任何 off‑policy 補償，避免了模型品質的潛在退化。另一方面，系統整合的複雜度不容小覷：草稿模型必須與不斷演化的政策保持同步，且所有梯度訊號仍須以目標模型為基準計算。若草稿初始化不佳或草稿長度設定過長，效能甚至會低於自回歸基線。未來的關鍵在於自動化的草稿適應與硬體支援，讓投機解碼能在更廣泛的訓練流程中即插即用，進一步推動超大規模 LLM 的訓練成本下降。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。