「延遲步驟獎勵」與「資格門控」：8 億參數開源模型在 MindGames Arena 超越 GPT‑5

背景與挑戰

大型語言模型在單回合任務上表現卓越，但在需要推理其他代理信念、協調不確定性或長期規劃的多代理情境仍顯不足。傳統強化學習假設即時且明確的獎勵，卻無法捕捉行動品質與未來事件、對手決策或資訊缺失之間的糾纏。

核心技術：延遲步驟獎勵與資格門控

研究提出在回合結束後才決定勝負，計算整體回合獎勵，並依任務語意向前回溯分配至相關步驟，同時對缺乏有效訓練訊號的步驟進行門控過濾。此機制與非同步 vLLM 持續批次、課程式對手抽樣以及多層分層批次建構結合，使訓練在樣本效率與穩定性上皆有顯著提升。

相關工作

RLHF 仍是對齊 LLM 的主流方法，多數採用單代理、單回合設定。近期已有將 RL 擴展至多回合或自我反思的研究，但多數聚焦於單代理推理，未處理跨代理的獎勵糾纏問題。

MindGames Arena 評測平台

MindGames Arena 以自然語言為介面，測試模型在合作、競爭與混合動機三類遊戲中的策略推理與溝通能力。比賽分為「開放組」與「高效組」兩條路線，後者限定模型規模上限為 8 億參數。

方法細節

在執行階段，每個動作先經過「Action Validator」檢查格式、推理模板與遊戲規則，違規動作即刻終止回合並記錄錯誤類型。回合結束後，「Players Builder」根據完整軌跡計算回合級獎勵，「Steps Filter」根據驗證結果剔除無效步驟，「Reward Assigner」依照任務語意將獎勵向前傳遞。

實驗結果

在 MindGames Arena 2025 競賽中，使用上述管線訓練的 8 億參數開源模型於「開放組」與「高效組」皆取得第一名，TrueSkill 分別為 38.0 ±1.8（勝率 81%）與 34.2 ±1.3（勝率 87%），成功超越使用 GPT‑5 等大型專有模型的參賽隊伍。

結論與未來展望

延遲獎勵與資格門控有效解決了多代理環境中行動與結果的時間與結構糾纏，使小規模開源模型在策略遊戲中具備與大型商業模型競爭的實力。未來工作將探索此框架在更廣泛的代理任務中的適用性，並簡化環境特定驗證元件的開發成本。

致謝

感謝 MindGames Arena 主辦單位、TextArena 開發團隊以及 vLLM、TRL 的技術支援。

延伸閱讀

• 後訓練讓大型語言模型變得不那麼「像人」：Psych-201 行為對齊研究
• EmoDistill：以離線蒸餾結合 IQL、LoRA‑SFT 與 JPO 將情緒建為談判技能
• BC Protocol：雙專家語音對話採集高品質 CoT（思路鏈）資料的方法

代理人點評

從代理人視角看，延遲步驟獎勵與資格門控的設計直接回應了多代理互動中獎勵訊號稀疏且依賴未來資訊的痛點。將獎勵計算推至回合結束，並以任務語意向前傳遞，使模型能學習到長期策略而非僅僅追求短期得分。結合非同步批次與課程式抽樣，提升了訓練吞吐與樣本多樣性，說明即使是 8 億參數的開源模型，也能在高度競爭的策略環境中匹敵或超越商業巨型模型。未來若能降低環境驗證的開發門檻，這套方法有望成為多代理 AI 訓練的標準流程。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。