深度分析
Mobile-R1:以任務層級獎勵與三階段訓練強化視覺語言模型驅動的行動代理
Mobile-R1 提出針對視覺語言模型(VLM)驅動的行動代理的互動式強化學習框架,核心在於以任務層級獎勵(task-level reward)取代僅靠單步動作回饋的做法。作者設計三階段訓練流程:格式微調、動作層級的單步 GRPO 線上訓練,以及基於多回合軌跡的任務層級 GRPO 訓練,強化探索與錯誤修正能力。
深度分析
Mobile-R1 提出針對視覺語言模型(VLM)驅動的行動代理的互動式強化學習框架,核心在於以任務層級獎勵(task-level reward)取代僅靠單步動作回饋的做法。作者設計三階段訓練流程:格式微調、動作層級的單步 GRPO 線上訓練,以及基於多回合軌跡的任務層級 GRPO 訓練,強化探索與錯誤修正能力。
深度分析
研究針對以Manim從文字生成程式化動畫的挑戰,提出ManimTrainer結合監督微調與GRPO強化學習,以及ManimAgent的Renderer-in-the-loop與文件輔助推理策略,實驗顯示兩階段訓練與代理式推理互補,能顯著提升渲染成功率與視覺相似度。
深度分析
本研究提出以多代理辯論式評審作為強化學習(RL)獎勵的框架,目標提升大型語言模型在科學構想生成上的新穎性與可行性。
深度分析
研究重新審視 SFT 後接 GRPO 的訓練流程,探討資料重疊率對 Lean 4 自動形式化的影響。實驗以 Qwen3‑8B 為基礎,分別測試 0%、30% 與 100% 重疊情境,結果顯示低重疊能提升編譯與語意正確率,0% 重疊時 GRPO 在 Gaokao 基準上較 SFT 提升 10.4 個百分點。完全重疊則使兩階段效益持平,凸顯資料分離的重要性。
深度分析
研究聚焦視覺語言模型的物理推理能力,透過四種獎勵訊號比較其效能。結果顯示,以答案正確性為基礎的獎勵提升最大,且注意力權重獎勵在空間推理上有顯著改善,指出監督注意力是未來提升方向。
深度分析
大型推理模型的效能在後訓練階段顯著提升。研究發現監督式微調與蒸餾會累積穩定的專屬注意力頭,而GRPO則以少量頭部的動態搜尋與裁剪方式運作;可控的思考開關模型缺乏專屬思考頭,關閉推理時會啟用較低效的補償頭。結果顯示,強化的注意力頭提升複雜問題解決能力,同時也可能在簡單任務產生過度思考的錯誤。
深度分析
Intel推出DeepMath,結合Qwen3‑4BThinking與GRPO訓練,模型產生簡短Python片段於沙盒執行,減少輸出長度最高66%,同時提升答題正確率。在MATH500、AIME、HMMT、HLE四大數學基準測試均表現優異。