Mixture-of-Visual-Thoughts（MoVT）與AdaVaR：情境自適應的多模式視覺推理框架

導讀

視覺推理正從單一策略走向多模態協同。Mixture-of-Visual-Thoughts（MoVT）提出一條明確路徑：在同一模型內同時學習多種推理模式，並讓模型根據影像與問題自動選擇最合適的推理方式。本文改寫與整理該研究的核心做法、實驗觀察、與對技術與產業的深度分析。

問題與動機

過去方法通常鎖定一種推理表現形式──要麼純文字鏈結式思考（text-based），要麼把推理過程緊密對齊到視覺區域（visually-grounded）。前者在抽象或知識型題目上表現較好，但容易出現語言偏誤與幻覺；後者在物件定位與視覺細節上較可靠，卻在抽象邏輯或數學問題上增益有限。研究問的是：能否把兩者優勢整合，並讓模型在每題情境下自適應選擇？

方法概述：MoVT與AdaVaR

MoVT的核心概念是把不同推理模式視為可切換的「思考路徑」，以統一的序列格式進行自回歸生成，並以模式前綴（mode prefix）作為顯式指示。整體訓練採兩階段：

第一階段：SFT冷啟動（Supervised Fine-Tuning）

透過統一模板把文本式與視覺對齊的推理路徑混合餵入模型，並以不同的前綴標記區分模式。這使模型在同一參數空間內學會多種生成格式與對應策略，建立基礎的多模態推理能力。

第二階段：強化學習（以AdaGRPO實作之AdaVaR）

為了讓模型學習依情境選擇模式，研究以AdaVaR作為自適應模式選擇的目標框架，並實作一套稱為AdaGRPO的強化學習程序來優化選擇策略。該程序核心設計有三項：一是前綴引導的模式探索（prefix-guided exploration），藉由固定前綴強制模型針對同一題目產生不同模式的推理過程，增加模式間比較的樣本；二是自適應相對優勢機制（adaptive advantage），除了標準的rollout層級回饋外，還引入模式相對優勢來顯式驅動模式選擇偏好；三是課程式資料調度（curriculum scheduling），由易到難逐步訓練以建立粗到精的區辨能力。

範例提示模板（節錄）

System: You are a helpful assistant. The user asks a question related to an image, you need to solve it. Please first think about the reasoning process in the mind and then provide the user with the answer. The reasoning process and answer are enclosed within <think> </think> and <answer> </answer> tags. You have two modes of thinking: <ground> and <text>.

實驗與觀察

作者在不同規模的模型上驗證方法，包括以Qwen2.5-VL衍生的3B與7B版本。實驗涵蓋多項視覺推理基準，結果顯示經由AdaVaR訓練後的模型，在多種場景下取得穩定的效能提升。研究指出較大模型會傾向於在知識型子題採用文本式推理，而在需要明確物件對齊的題目傾向採視覺對齊模式，這顯示模式選擇具備細緻的情境關聯性。

跨主題對比分析

與只聚焦單一CoT形式的研究相比，MoVT的差異在於「同一模型內的多模式學習與選擇」。傳統作法多以手動規則或固定架構偏好某種輸出形式，缺乏依題目變化自適應的能力。MoVT結合SFT與針對性RL相較於純SFT能更直接地學到模式之間的相對優勢；相較於完全以視覺結構為主的方案，MoVT能在抽象知識題或需要語意推理時利用文本推理的優勢。

深度洞察與風險評估

MoVT把模式選擇視為策略學習，這帶來兩面影響：一方面，可降低單一模式在特定題型的系統性弱點，例如減少文字導向的幻覺或視覺模式在抽象題的短板；另一方面，引入RL的過程需要大量探索樣本與穩定的回饋信號，若回饋設計不當或數據分布偏差，可能導致模型習得有偏的選擇策略。此外，混合多種模式帶來的生成多樣性，也會增加評估與監督的複雜度。

對開發者生態與商業格局的可能影響

從工程面看，MoVT鼓勵把推理流程與輸出格式模組化，使得同一基礎模型能支援多種應用場景，對開發者來說可降低為不同任務重訓模型的成本，但同時需要更精細的資料標註與評估工具。商業上，若能穩健實作情境自適應選擇，服務提供者可藉由單一平台同時優化知識型問答與視覺理解產品，提升產品線整合力；但短期內也會因為訓練與驗證成本上升而增加門檻。

歷史脈絡與延伸關聯

MoVT延續了語言領域對於Chain-of-Thought的研究脈絡，並把該思路延伸到多模態場景，與近年利用強化學習提升大型語言模型（LM）推理能力的研究線條相吻合。以往鏈式思考強調在生成前輸出推理軌跡，MoVT把這類推理軌跡視為可切換的模式，並進一步學習何時切換，這代表多模態推理朝向更高階的策略性控制方向前進。

未來展望

短期內，可見的擴展包括：擴充更多類型的推理模式（例如動作序列或時間相關推理）、改良回饋函數以更精準衡量模式優劣，以及發展更自動化的課程式資料調度策略。長期來看，自適應模式選擇若能穩定運作，將促進通用視覺推理平台的落地，改變模型部署策略，從為每種任務打造專屬模型轉向以單一通用模型搭配情境化策略微調的路線。

結語

MoVT和AdaVaR為視覺推理的通用化提供了具體技術路徑：統一表示多種推理路徑、在冷啟動階段建立多模式能力，並以針對性強化學習優化情境選擇。結果顯示這條路徑具有可行性與潛力，但實務上仍面臨樣本效率、回饋設計與評估指標等挑戰。對研究者與工程師而言，這項工作提示了未來通用視覺推理系統的若干重要設計方向。

延伸閱讀

• 結合 MLLM 與 A-QBAF 的可爭辯多媒體驗證框架：多代理分段論證實作
• Cattle Trade 多代理基準：用拍賣、虛張聲勢與資源限制檢測 LLM 策略推理
• MTG-Causal-RL 與 CGFA-PPO：在部分觀測與遮罩動作空間下的因果強化學習基準

代理人點評

從AI工程視角看，MoVT把模式選擇問題形式化為策略學習，是把理論轉為可訓練機制的典型做法。AdaVaR結合SFT冷啟動與針對性RL，能讓模型在學到多種推理路徑後依情境選擇，但強化學習階段的樣本效率與回饋設計仍是主要工程瓶頸。實務應用上，若想廣泛部署此類自適應系統，必須同時投入更細緻的資料準備與可解釋性檢測機制，以避免選擇策略被資料偏差放大。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。