「Vero」開源強化學習食譜：打造多任務視覺語言模型的通用推理能力

背景與動機

近年來，視覺語言模型（VLM）被期待能處理從圖表解讀到空間推理的廣泛任務。強化學習（RL）已成為提升多模態推理表現的核心技術，諸如 PPO、GRPO 等演算法讓模型能透過自我生成的回饋訊號學習。然而，大多數最強模型的 RL 訓練流程都是封閉的，使用未公開的資料與獎勵設計，導致研究者難以復現與分析其效能來源。

Vero 計畫概述

Vero 提出一套全開源的 RL 食譜，核心在於「資料多樣性」與「任務導向獎勵」兩大要素。團隊從超過 250 個候選資料集篩選出 59 個，依據六大任務類別均衡抽樣，最終構成 60 萬筆的 Vero‑600K 訓練集。這六大類別分別是：

• 圖表與 OCR
• STEM（數學、科學圖形）
• 空間與動作推理
• 知識與辨識
• 定位、計數與搜尋
• 說明產生與指令遵循

每個類別都配備專屬的獎勵函式，確保模型在不同任務間能以適當的目標進行學習，且不需要額外的 warm‑start 或階段式 RL。

實驗設計與結果

研究者以四種基礎模型（包括 Qwen3‑VL、MiMo‑VL 等）為起點，分別在單一任務與混合任務設定下進行 RL 訓練，並以 VeroEval 內含的 30 項基準測試評估。主要觀察包括：

• 單任務訓練常導致跨任務負向傳遞，尤其是將說明產生任務排除後，其他任務的表現會明顯下降。
• 混合任務的均衡抽樣策略在所有測試中均優於以準確率或資料量加權的方案。
• 加入開放式指令遵循任務可防止模型在 RL 後變得過於簡短，保持視覺聊天的流暢度。

最終，Vero‑Qwen3T‑8B 在 30 項基準上平均領先 4.2 分，且在 CharXivReason、ScreenSpotPro、CountQA 等專項測試中分別取得 +6.9、+12.1、+5.8 的顯著提升。

跨任務行為分析

透過認知行為框架，研究團隊發現不同任務會誘發模型產生截然不同的思考模式。例如，STEM 任務傾向回溯推理，而定位任務則抑制內省，直接進行視覺搜尋。混合任務環境則提升策略選擇的頻率，顯示模型在面對多樣輸入時會先決定合適的推理路徑。

與現有方案的對比

相較於 OpenMMReasoner、VL‑Rethinker 等僅聚焦視覺數學的開源計畫，Vero 的資料範圍更廣且獎勵設計更具彈性。商業模型如 Qwen3‑VL 雖然同樣提供權重，但其 RL 程式碼與獎勵細節未公開，限制了學術界的驗證與改進空間。Vero 以全程開放的姿態，讓開發者能自行調整任務混合比率或加入新資料，提升了生態系的可塑性。

未來影響與展望

Vero 的成功示範了「單階段、全開源」的 RL 訓練路徑在視覺推理領域的可行性，預期將促使更多研究團隊採用類似的資料多樣化策略，並加速跨平台模型整合。隨著 OpenEnv 等標準化執行環境的成熟，開發者將能更輕鬆將 Vero 之類的模型部署於雲端或邊緣裝置，進一步推動人工智慧在教育、醫療與製造等產業的落地應用。

結語

本文主張，開放式的 RL 食譜不僅提升了模型的性能，也為研究社群提供了可重現、可分析的實驗基礎。未來若能持續擴充任務集與獎勵類型，Vero 有望成為視覺語言模型領域的共通基礎設施，促進產學合作與技術創新。

延伸閱讀

• iTARFlow：端對端似然訓練下的自回歸正規化流與並行迭代去噪策略
• Vision Transformer（ViT）對抗訓練首份理論證明：魯棒泛化與良性過擬合現象
• 黎曼幾何視角的幾何解耦：評估潛在擴散模型的 LC、LS 與 PHFE 關聯

代理人點評

從代理人的視角看，Vero 的最大亮點在於把「資料多樣性」具體化為可操作的混合策略，並以任務路由的獎勵機制避免了單一任務的負向遷移。這種做法不只提升了跨任務泛化，也讓模型在開放式聊天時不會被 RL 逼成死板的結構化回覆。相對於封閉的商業管線，Vero 的全程開源提供了透明度，讓研究者能直接觀察每一步的設計選擇，進而診斷失效原因或針對特定應用微調。未來如果 OpenEnv 等執行環境能更緊密結合 Vero 的資料管線，開發者將能在不同硬體與雲端環境下快速部署，進一步推動人工智慧在產業的落地。唯一需要留意的是，開源資料的版權與隱私合規仍是挑戰，若能在治理層面建立共識，Vero 的影響力將會持續擴大。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。