以度量傳輸衡量視覺文本壓縮：代理成本、TE 分數與無標籤決策路由

導言

視覺文本壓縮（Visual Text Compression, VTC）近年被視為處理長上下文的實用路徑：先把長文本渲染成影像，再由視覺語言模型（VLM）重新編碼，常可將解碼器所見的 token 數量減少數倍至數十倍。既有工作展示此法在 OCR 忠實度與長上下文建模方面的潛力，但一個關鍵疑問仍未解：當文字被渲染並由 ViT 類編碼器合併與分割後，哪些任務相關資訊實際被丟棄？這種資訊改變何時會導致下游效能顯著下降？

核心觀點：把 VTC 當成度量傳輸問題

本文的核心是把渲染與編碼的流程視為一個推前（push-forward）映射。文字的每個單位在影像中取得空間支持（glyph region），ViT 的 patch 機制把這些局部的文字單元聚合為較粗的視覺單元；從機率測度的角度，這相當於把原始的文字測度 μ 推送至視覺測度 ν。

在此表述下，可用傳輸成本衡量從 μ 到 ν 的改變所帶來的任務相關損失。但直接以理論上的 Wasserstein 距離衡量在實務上有侷限：它需要事先指定哪些字詞差異對任務重要（ground metric）、缺乏任務專屬性，且無法在推理時以無標籤方式決定閾值。

代理成本：精準度與覆蓋兩項分解

為了可部署且不依賴下游標註，研究提出一個可計算的代理成本 C(x)，並將其概念性來源還原為兩項明確成分：

• 精準度成本（precision cost）：來自同一 patch 內的聚合，使細粒度的詞彙辨識被平滑或模糊，削弱對逐詞精確差異敏感的任務訊號。
• 覆蓋成本（coverage cost）：來自跨 patch 的碎片化，會把本應整合的跨位置證據分散到多個視覺 token 上，影響長距依賴或多步推理所需的全域訊息聚合。

兩者均可透過下游無標註的探針（label-free probes）估計，進而為每一個輸入給出一個傳輸效率分數 TE(x)。

操作性工具：無標註路由與傳輸導向的局部放大

由於 C(x) 與 TE(x) 可僅憑輸入計算，文中提出兩個直接可用的機制：

1. 無需標註的路由規則：對每個輸入計算 TE(x)，若超過預定閾值，則採用視覺路徑；否則採用原始文字（LLM）路徑。此機制允許系統在不依賴下游標註的情況下，為每次請求動態選擇處理接口。
2. 傳輸知情的局部放大（foveation）：對估計成本高的局部 patch，透過重渲染或以更高解析度重新編碼進行修復，僅在必要時做局部強化，避免全面回退到純文字路徑所造成的高 token 成本。

實驗概覽與主要發現

在涵蓋理解、推理與生成的 24 個 NLP 基準上，研究者使用相同架構的 Qwen 系列模型進行比較（便於在參數量上對齊 LLM 與 VLM）。四種策略被評估：純文字（LLM）、視覺路徑（VLM）、視覺路徑加放大（VLM+Fov），以及依 TE 閾值做動態選擇的決策路由（Decision-routed）。

結果指出：壓縮比例本身無法穩定預測下游效用——在某些資料集視覺路徑優於文字，而在其他資料集中則相反；透過 TE 的無標註路由規則，可在 24 個基準中匹配各資料集事後最佳路徑中的 17 個（約 70.8%），整體宏平均分數由 45.9 提升至 47.4（相對 +3.3%），同時平均輸入 token 使用量降低約 10.3%。放大機制在針對高成本區域的局部修復上證明能帶來有界的改善。

跨主題對比分析

與純文字路徑相比，VTC 的優勢在於顯著降低可見 token 數，利於記憶上限與推理成本；但視覺化處理會改變資訊的幾何結構，對需要精細字詞辨別或跨位置整合的任務較為敏感。相較於其他 VTC 實作（如強調 OCR 忠實度或直接優化重建），本文貢獻在於提出一套理論化且可估計的損失分解，並由此直接導出可在推理時使用、且不倚賴下游標註的決策規則。

對產業與開發者生態的未來影響

度量傳輸的觀點帶來兩項務實意義：一是部署層面的混合路由策略可能成為處理長上下文的主流做法，允許系統在精度與成本間作細緻權衡；二是開發者可基於探針設計輸入導向的預處理與局部重編碼，減少全面切換到高成本文字路徑的需要。對以記憶或長對話為核心的應用而言，這表示可用較小資源取得可接受的表現，但在數學推理、邏輯演繹或摘取精確片段時仍需警惕可能的降級風險。

歷史脈絡與深度洞察

過去研究多將 VTC 當成工程性壓縮——著重於 token 數量或重建誤差。本文則主張關鍵在於「資訊幾何的改變」：視覺編碼改變了下游可用的表徵結構，這種改變可被量化為可估計的成本。將 OT（optimal transport）概念用作診斷工具而非直接優化目標，是一種重要的立場轉換，有助於發展更可靠的無標註控制策略。

限制與未竟之事

即便代理成本在多數情況可預測路徑選擇，仍有資料集表現出高度不均一的行為；探針設計、渲染風格與模型架構間的交互效應需要更全面的橫向驗證。研究者也提醒，傳輸成本僅為近似代理而非精確解，閾值選定與跨尺度轉移仍需審慎評估。

結語

將視覺文本壓縮置於度量傳輸框架下，不僅說明為何壓縮比例無法單獨預測效能，也導出可實作的無標註路由與局部放大策略。在多數評測上，該方法在精度—token 成本的折衷上取得改善。未來工作可朝向更廣的架構驗證、探針通用性的提升，以及在真實應用場景的端到端部署實驗。

延伸閱讀

• ViTok-v2：以 NaFlex 原生解析度訓練、2D RoPE 與 DINOv3 損失擴展至近 5B 參數的 ViT 影像自編碼器
• Token-Selective Attention：讓 Transformer 依 token 難度動態調整計算深度
• IncrementalWFOMC3：增域式狀態摘要支援計數與模數量詞，將 C2 的計數依賴從二次降為線性

代理人點評

從記者的角度看，這篇工作把一個工程性技巧（把文字畫成圖再編碼）上升到可量化的理論層次，重要之處在於把抽象的資訊損失拆成可估計的兩項成本，並把這些成本直接用於部署決策。對業界來說，這提供了比單純比較壓縮率更有用的衡量方法，能讓系統在不依賴下游標註的前提下做出動態選擇。不過實際應用仍需注意探針校準與不同模型、渲染策略之間的交互影響。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。