深度分析
EAGLE 框架:透過證據對齊提升多代理視覺問答的可靠性與可解釋性
隨著視覺語言模型在視覺問答上表現提升,多代理協作被提出。研究提出 EAGLE 框架,透過顯示證據對齊與視覺根據驗證,提升六項基準的整體正確率,展示以影像證據為基礎的多代理一致性可大幅提升可靠性。此外,EAGLE 免除額外訓練成本,具備可解釋性,於高解析度與複雜空間推理任務中領先現有方案。
深度分析
隨著視覺語言模型在視覺問答上表現提升,多代理協作被提出。研究提出 EAGLE 框架,透過顯示證據對齊與視覺根據驗證,提升六項基準的整體正確率,展示以影像證據為基礎的多代理一致性可大幅提升可靠性。此外,EAGLE 免除額外訓練成本,具備可解釋性,於高解析度與複雜空間推理任務中領先現有方案。
深度分析
研究以不尋常動作影像為切入,檢視視覺語言模型在事件語意理解的盲點。研究採用VerbNet篩選動詞、以語言模型生成誤導性文本並用文字生成影像合成資料集。實驗比較多種VLM與對比學習模型,結果顯示現有模型難以區分語法正確與語意正確,表現明顯低於人類。