提示回呼

深度分析

視覺語言模型的問題先行悖論：提示回呼如何提升問答準確性

在視覺語言模型（VLM）中，直覺上認為先給問題能引導模型注意影像內容，然而實驗發現「問題先行」的提示方式在多項基準測試上表現最差，形成所謂的問題先行悖論。研究者透過 logit‑lens 與注意力探測證實，先問問題確實能驅動影像特徵向問題相關概念靠攏，但因問題被長長的影像序列隔離，答案產生階段幾乎不會讀取到問題，導致錯誤答案。