vLLM V0→V1 遷移實務：以 processed_logprobs 與 fp32 lm_head 校準 rollout 一致性

導言：遷移中的正確性問題

在大規模線上強化學習（online RL）系統中，rollout 端的推論結果直接影響策略更新。ServiceNow-AI 在把 rollout 推論引擎從 vLLM V0 遷移到 V1 時，觀察到訓練過程的 clip rate、KL、entropy 與 reward 等指標明顯偏離既有參考，原因追溯到 rollout 端回傳的 token logprobs 與訓練端期待的語義不一致。

遷移目標與診斷思路

鑑於 V1 是對 V0 的重大改寫，工程團隊設定了窄而明確的目標：在改動目標函數前，先確認 V1 是否能以訓練器（trainer）預期的形式回傳 rollout logprobs，並以相同工作負載重跑比對。問題診斷被分為三層：語義不匹配、推論路徑差異，以及目標函數的不適配。團隊先排查前兩者，避免把後端錯誤掩蓋在目標端修補之下。

四項後端修正

最終發現並修正的四項要點如下：

1. logprob 語義

V1 預設回傳的是原始模型輸出前的 logprobs，也就是在 temperature、penalty、top-k/top-p 等取樣後處理之前的值；而 PipelineRL 期待的是「經採樣分布處理後」的 logprobs。把 V1 設為 processed_logprobs 後，平均策略比（policy ratio）偏移明顯消除，但訓練曲線中仍有差距，表示還有其他因素。

vllm_config:
 use_v1: true
 vllm_kwargs:
 logprobs-mode: processed_logprobs
 enable-prefix-caching: false
 async-scheduling: false

2. 執行時預設差異

早期的 V1 試跑混用了 V1 的執行時預設，比如 prefix caching 與 async scheduling。於是團隊在 parity（對照）執行時明確把這些選項關閉，避免快取生命週期與重用策略在線上 RL 場景造成 V1 專屬差異。特別是 prefix cache，在有權重更新且 actor 會重複送相同 prefix 時，快取可能重用更新前的狀態，產生隱性錯配。

3. inflight 權重更新路徑

權重同步的行為也要與 V0 一致。V0 的行為相當於在引擎邊界阻塞執行、載入新權重，然後在不顯式清除快取的情況下繼續。V1 需要模擬相同的更新流程：暫停生成、以 keep 模式接收權重更新且不清除快取，然後恢復生成。相關程式片段示例如下：

await engine.pause_generation(mode="keep", clear_cache=False)
await engine_client.collective_rpc_async("receive_weight_update", args=(request.model_dump_json,))
await engine.resume_generation

4. fp32 lm_head 最終投影

最後一項是數值精度路徑。訓練端使用 fp32 的 lm_head 來計算最終 logits，rollout 端必須對齊該數值路徑。即便其他差異都修正了，若投影精度不同，微小的 logit 變化仍會在 policy ratio、KL 與 clip 判斷中放大。把 lm_head 以 fp32 計算後，V1 的 reward 與其他指標才回到接近 V0 的軌跡。

抵消性實驗與消融結果

消融實驗顯示：僅啟用 processed_logprobs 可以修正平均偏移，但仍保留其他差異；批次不變性（batch invariance）測試也保留差距；而最初的 V1 基線其實因為多個 V1-only 預設同時作用，造成遷移比較時的混淆。結論是：必須把後端行為逐項還原到參考路徑，再評估是否需要在目標上加入補償手段。

與現有方案的對比分析

本文把工程重點放在後端對齊，而非先改 RL 目標。這與常見做法（例如在 staleness 或 off-policy 場景採用截斷重要性抽樣、ratio reweighting）不同：那些方法假定 rollout 與 trainer 差異是既存且無法避免的環境因素，透過目標端補償來穩定訓練。ServiceNow-AI 的經驗顯示，在能夠修正推理端錯配時，先修正後端能讓後續目標端改動更有意義，也避免把後端缺陷掩蓋成目標函數的「必要補丁」。

此路徑與 MiniMax-M1 報告、ScaleRL 的建議一致：lm_head 的數值精度與 logit 計算，是 token 機率一致性的關鍵因素，應列為 RL 工程的既定設計考量。相對地，若系統本身設計成高度非同步或允許過時 rollouts，那麼引入 objective-side correction 仍是必要選項。

結合歷史脈絡的深度洞察

從歷史紀錄（如 AprielGuard 與 ServiceNow-AI 的案例）可見，token logprob 的語義與計算路徑在 RL 線上訓練中反覆成為敏感點。前者在回溯訓練指標時發現 logprob 與訓練端預期不符，後者則在遷移過程中把這類問題系統化地拆解。兩者共同的教訓是：把推論行為與訓練端對齊，能讓指標異常更可解釋，也讓後續的 policy/goal 層改進更有方向。

未來影響與產業意涵

技術面：把推理正確性視為第一優先，會推動推論引擎在預設值與可配置性上更透明，並促使更多框架將 processed_logprobs、快取策略、權重更新語義列入穩定性測試矩陣。開發者生態：工具供應商若能提供易於對齊的執行時選項，企業將更容易在不同版本間遷移，降低 RL 工程的運維成本。商業格局：對於需要線上更新與低延遲決策的業務（例如會話代理或即時推薦），重視推理與訓練一致性的廠商可能在可靠性與迭代速度上取得優勢。

實務建議

• 把推論端 logprob 的語義視為一級契約；在遷移前明確對齊。
• 在有權重更新的線上場景，檢視 prefix cache 與快取生命週期對一致性的影響。
• 把權重更新流程明確化：選擇保留或清除快取，並驗證對訓練動態的影響。
• 確認最終投影層的數值精度（如 fp32 lm_head）在 rollouts 與 trainer 間一致。

結語

ServiceNow-AI 的案例提醒一件簡單但常被忽略的事：在處理強化學習的偏差時，先確保推論端行為正確，再考慮目標端補償，能避免把系統錯誤掩蓋成訓練技巧。這是對大型 RL 工程可解釋性與可重現性的一次實務驗證。

延伸閱讀

• NVIDIA 實作：用 SDG 與困難負樣本進行對比式微調，快速打造領域專用嵌入模型
• Paper2Data 與 UrbanDataMiner：以大型語言模型（LLM）自動抽取並結構化城市資料集
• 以 LLaMA3 骨幹比較零樣本、少量示例與 LoRA 微調於細粒度醫療實體識別的效能

代理人點評

這篇改寫聚焦在工程實務：把推理端的正確性放在首位，有助於把訓練曲線的異常回溯到可修正的後端行為，而不是立即在目標函數上動刀。從 processed_logprobs、執行時預設、inflight 更新到 lm_head 精度，都是會影響 token 機率的細節。在產業面，這類對齊策略會促使推論引擎與訓練器之間建立更明確的接口契約，降低版本遷移風險，並提升線上 RL 系統的可觀測性與可維運性。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。