視覺語言模型(VLM)在古希臘史料OCR上出現流暢性誤讀
研究以視覺語言模型(VLM)檢視史料OCR表現。採用受控影像擾動與逐詞分級判定，發現多數VLM即使文字流暢也可能不以視覺為依據，錯誤具語言先驗傾向；專用OCR與通用VLM在視覺依賴上差異明顯，解碼時修正效果有限，後處理語言模型能部分補救。具有實務意涵
要點速讀
研究指出，視覺語言模型(VLM)在古希臘低資源校訂本文獻的OCR任務中，常產生看似合理但缺乏視覺證據的文字替換，顯示這類模型在辨識時會被語言先驗影響。
研究方法
團隊比較多種開放權重的VLM與傳統OCR基線，並設計受控影像擾動來查看模型在視覺資訊被破壞時的行為。同時提出逐詞層級的「是否受影像條件制約」指標，透過有無影像的解碼分佈對照，量化視覺證據在生成過程的影響力。
主要發現
在單字符擾動下，VLM較易生成流暢但與影像不符的希臘語替代詞；傳統OCR則多表現為局部辨識錯誤或雜訊。不同模型類型差異明顯：一款偏向OCR專用的模型在產生流暢詞彙時，對影像依賴度低；而通用型VLM即便輸出錯誤，也往往仍受影像條件影響。
修正與啟示
在解碼階段嘗試的介入措施未能可靠恢復視覺對齊；相比之下，事後以語言模型進行校正能在若干系統上改善結果。研究呼籲在歷史文本與低資源場景評估OCR時，應超越單一整體準確率，加入可解釋性與逐詞視覺對齊的檢驗。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
