Pause‑and‑Think‑T:小型視覺語言模型的情境推理突破
近期的視覺語言模型在影片的實體推理、時間一致性與情境規劃上表現不佳。研究團隊推出以推理為核心的訓練資料集 pause‑and‑think‑T,要求模型在產生答案前先暫停、檢視視覺證據並形成簡潔可執行的回應。
背景與挑戰
視覺語言模型(VLM)在處理影片時,常無法正確結合畫面資訊與語言指令,導致推理不穩、時間前後不一致,亦缺乏根據情境規劃的能力。
Pause‑and‑Think‑T 訓練資料集
研究團隊建立了以推理為核心的資料集 pause‑and‑think‑T,設計讓模型在回答前先「暫停」並對視覺證據進行結構化推理,最終產出簡潔且可直接執行的回應。
模型微調與評估
以此資料集微調一個 4 億參數的緊湊模型,並在自建的 pause‑and‑think‑B 基準上測試,取得 58.0% 的正確率。相較於 235 億參數的 Qwen3‑VL,參數量僅為其 1/59,卻只差 0.9% 的表現,與 GPT‑5.2 在情境理解上持平,並超過 GPT‑4o。
跨領域測試結果
模型未經基準特化訓練,仍在 EgoThink 與 TempCompass 等資料集上展現出強勁的外部效能,特別在可操作性、屬性辨識、情境推理與時間序列判斷上都有明顯提升。
意涵
結果顯示,針對推理的監督即可讓小型模型提供具體、視覺根據的協助,並具備跨領域的泛化能力,無需透過大規模模型擴張來提升表現。
延伸閱讀
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。