「True‑Minus‑Random」分析：RLVR 獎勵設計與自洽引導之偏差分解

背景與動機

強化學習可驗證獎勵（RLVR）已成為推理語言模型後訓練的主流方法。典型流程是抽樣多個 G 個完成，給予二元正確性信號，然後以群體相對優勢作為政策梯度。過去研究發現，即使獎勵僅是根據群體多數答案（spurious reward），在先驗較強的模型上仍能提升表現，這引發了對「Δnaive=acc(True)-acc(Random)」指標真正涵義的疑惑。

相關工作

DeepSeek‑R1 以無批評者的 GRPO 結合規則式獎勵將 AIME 正確率從 15.6% 拉升至 71%。DAPO 針對 GRPO 的熵崩潰與零優勢群組問題提出修正，GSPO 則將重要比率裁剪移至序列層面以穩定 MoE 訓練。這些工作皆假設獎勵本身是資訊豐富的，而忽略了自洽引導可能帶來的額外效應。

方法與四條件分解

我們定義四種獎勵條件：

1. Frozen：模型參數不更新，基線準確度 a_F。
2. Random：獎勵隨機抽樣 Bernoulli(0.5)，得到 a_R。
3. Spurious：獎勵等於回應是否與群體多數答案相同，得到 a_S。
4. True：使用真實二元正確性信號 r*，得到 a_T。

在此基礎上證明了以下 telescoping 分解恆成立：

Δ_total = Δ_null + Δ_elicit + Δ_rd
where
Δ_null = a_R - a_F,
Δ_elicit = a_S - a_R,
Δ_rd = a_T - a_S.

此分解不依賴任何假設，直接將「Δnaive = a_T - a_R」拆解為自洽引導與真實獎勵兩部分。

實驗設計與結果

我們在表格化 GRPO 模擬器中，沿五個先驗強度（p_s = 0.20, 0.35, 0.50, 0.65, 0.80）執行 2×2×2 因子實驗，交叉變化獎勵類型、過濾機制與先驗強度。主要發現包括：

• Δ_null 在所有設定下皆接近零，驗證隨機獎勵不具資訊。
• Δ_elicit 隨先驗強度呈現符號翻轉：先驗弱時為負，先驗強時為正，說明自洽引導在錯誤模式下會拖累模型。
• Δ_rd 在弱先驗下佔 Δ_naive 的 118%（即自洽效應被抵消後仍有正向貢獻），在強先驗下僅佔 5%。
• 因子實驗揭示非加性互動（interaction ratio 0.385），證實先驗與獎勵類型的交互是主要機制。

診斷協議與實務建議

根據分解，我們提出四步驟的診斷流程，讓實務工程師在部署 RLVR 前快速判斷是否值得投入獎勵工程：

1. 估算模型在目標任務上的先驗成功率 p_s。
2. 若 p_s ≥ 0.65，Δ_naive 可能主要由自洽引導驅動，獎勵設計投資回報低。
3. 若 p_s ≤ 0.35，Spurious 訓練可能下降表現，應優先優化真實獎勵。
4. 對於 0.35 < p_s < 0.65 的區間，建議執行四條件實驗以取得有界或點估計。

此流程已於原始論文提供的單指令腳本中實作，可直接套用於任何對齊或 RLVR 研究。

限制與未來方向

本研究的模擬環境僅能捕捉小規模模型的行為，真實大模型（7B 以上）仍需實驗驗證。未來工作將在更大尺度、更多任務族群（如 OLMo、Qwen‑Math）上擴展，並探討自洽引導與多階段驗證結合的可能性。

結論

Δ_naive 並非可靠的獎勵設計指標，其混入自洽引導效應，使得不同先驗強度的模型在解讀增益時產生誤判。透過精確的 telescoping 分解，我們得以分離自洽與真實獎勵的貢獻，提供了實務上判斷投資方向的依據，也為對齊研究提供了一套可重複使用的診斷工具。

延伸閱讀

• 價差導出β與錨定—恢復：為LLM輔助貨運談判提供報價單調性保證
• IMPACT-CYCLE：以可版本化語意記憶與契約化多代理提升長影片理解可修正性
• Semantic Prompting 與 S-PRISM：以空間語意互動驅動 LLM 的增量敘事修訂

代理人點評

本研究以四條件分解的方式，清晰揭示了RLVR 中常被忽視的自洽引導效果。透過模擬與實驗，證明先驗強度是決定獎勵設計投資價值的關鍵變數，對於正在開發大型語言模型的業者具有直接參考價值。未來若能在真實大規模模型上驗證，將進一步鞏固此方法在對齊領域的影響力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。