視覺語言模型

深度分析

視覺語言模型物理推理的獎勵設計與效能分析：GRPO 與 IBM Granite Vision 3.3 的比較

研究聚焦視覺語言模型的物理推理能力，透過四種獎勵訊號比較其效能。結果顯示，以答案正確性為基礎的獎勵提升最大，且注意力權重獎勵在空間推理上有顯著改善，指出監督注意力是未來提升方向。

深度分析

CropVLM：透過強化學習動態放大提升細粒度視覺語言模型效能

為提升視覺語言模型在場景文字與文件解析等細粒度任務的表現，研究提出CropVLM，可在推論時自動放大關鍵影像區域。該系統以強化學習訓練，無需人工標註框或高成本合成評估，且可與開源或商用模型即插即用。實驗顯示在高解析度需求的基準測試中顯著提升準確度，且不會導致模型遺忘。

深度分析

RLVR 於視覺語言模型的空間推理突破：Ariadne 迷宮框架實驗與跨域驗證

研究指出 RLVR 可能僅放大預訓練行為，缺乏視覺推理驗證。作者以 Ariadne 合成迷宮調控難度，發現 RLVR 能突破基礎 VLM 0% 正確率的空間推理上限。零樣本測試於 MapBench 與 ReasonMap 亦顯著提升，顯示能力真實擴張。

深度分析

PromptEcho：利用凍結視覺語言模型的交叉熵獎勵提升文字生成影像的強化學習效能

研究針對文字生成影像模型的獎勵訊號不足問題提出解決方案。PromptEcho 透過凍結視覺語言模型計算影像與提示的 token 級交叉熵損失，無需人工標註或獎勵模型訓練，提供即時且高效的獎勵。實驗證明在多項基準測試中顯著提升模型的提示遵循能力，且獎勵品質隨 VLM 規模提升而提升。

深度分析

MemJack：記憶增強多代理人視覺語言模型 Jailbreak 框架概述與實驗結果

隨著視覺語言模型快速發展，攻擊面亦大幅擴張。研究提出記憶增強多代理人框架 MemJack，利用視覺語義映射與迭代空間投影繞過防護，於 COCO 測試集達 71.48% 成功率，最高可至 90%。

深度分析

SVD‑Prune：免訓練視覺語言模型的單值分解代幣裁剪技術

隨著視覺語言模型需求增長，計算成本成為瓶頸。SVD‑Prune 透過奇異值分解與杠桿分數，選取全局變異貢獻最大的代幣，免除訓練流程。實驗證明即使僅保留 16‑32 個代幣，仍能保持接近完整模型的效能，顯著優於傳統裁剪方法。

沉浸式對話式推薦系統

沉浸式對話式推薦系統的情境即時標籤評估：從 XR 到智慧標示的挑戰

隨著 XR 技術普及，沉浸式對話式推薦系統開始關注情境即時標籤。研究將資訊需求分為明確意圖與主動需求，並以新指標評估標籤選擇。實驗在時尚、電影與零售三個場景測試 IR、LLM 與 VLM 方法，發現它們未能充分利用場景資訊、產生冗餘標籤且難以預測使用者主動需求，凸顯未來改進空間。

深度分析

Grid2Matrix：揭示視覺語言模型的數位失認現象與細節保留瓶頸

隨著視覺語言模型在多模態推理上表現優異，研究團隊設計 Grid2Matrix 基準，測試模型將彩色格子映射成矩陣的能力。結果顯示模型在小格子上即出現零樣本失效，且錯誤與格子跨越視覺補丁邊界高度相關，提出「數位失認」概念，指出語言輸出階段的資訊缺口。

深度分析

微調 Qwen2.5‑VL‑32B 提升視覺語言模型在網頁互動的成功率

研究以 Qwen2.5-VL-32B 為例，分析其在純視覺輸入的網頁互動挑戰，提出兩階段微調流程，分別判斷游標位置與執行單步指令，最終在單點擊基準測試中將成功率提升至 94%，顯示微調策略對提升模型可靠性具顯著效益。

深度分析

協同多代理腳本生成提升視覺語言模型在謀殺推理遊戲的不完全資訊推理能力

本研究聚焦於資訊不完整且具欺騙性的多人謀殺推理遊戲，提出協同多代理框架生成角色導向腳本，並採用鏈式思考微調與 GRPO 強化學習的雙階段訓練提升視覺語言模型推理能力。實驗證實此方法顯著改善模型在敘事推理與抗欺騙理解上的表現，為未來不確定環境的多模態推理提供新基礎。

深度分析

LLAMA 系列演進：視覺語言模型中大型語言模型骨幹的效能比較與分析

隨著大型語言模型快速演進，研究探討將 LLAMA‑1、2、3 作為視覺語言模型骨幹的影響。實驗固定視覺編碼器與訓練流程，發現新模型在視覺問答上提升信心校準與表示穩定性，但對純視覺任務貢獻不大。此結果提醒開發者在升級 VLM 時需針對任務特性選擇合適的 LLM。

深度分析

模型 logits 隱含資訊揭露：VLM 安全風險分析

研究指出，視覺語言模型的 logits 可能洩漏圖像查詢中的非任務資訊。透過比較低維投影與 top‑k logits，發現兩者在資訊保留上相當，凸顯模型輸出層的隱私風險。