深度分析 vLLM V1 遷移實務：在 RLHF 訓練中確保 logprob 正確性 ServiceNow-AI 在將推論引擎由 vLLM V0 升級至 V1 時發現強化學習指標偏離。團隊透過修正 logprob 語義、調整運行時預設值、同步權重更新路徑並將 lm_head 設為 fp32 精度，成功恢復訓練動態與 V0 基准對齊。此舉證明在 RL 遷移過程中，優先確保推論後端的正確性，比在目標函數層面進行補正更具可解釋性且有效。
