縮放一致性量測：為 GUI 多步驟定位提供幾何信心估計

導言

在圖形介面（GUI）定位任務中，業界與研究常採用多步驟的放大（zoom-in）流程來提高解析度與定位精度：模型先於全畫面給出初始點，再依該點裁切放大後重算預測。過去流程多半只保留最終座標，捨棄中間預測。本研究觀察到：第二步在裁切視圖中的預測相對於裁切中心的位移，本身就是一個有用的信心訊號——稱為縮放一致性（zoom consistency）。這個訊號無須額外前向傳播或訓練，能以幾何方式在共享座標空間中比較不同架構的模型結果。

方法與直覺

典型的二步驟流程為：模型於1000×1000正規化座標空間預測步驟一的位置，根據該位置裁切一個固定比例的方形區域並重設為1000×1000，模型於裁切後再做一次預測。若步驟一接近真實目標，目標會出現在裁切的中心附近，步驟二的預測應靠近裁切中心；若步驟一偏離，步驟二的預測會距離中心較遠。把這個距離定義為縮放一致性 c，即可作為步驟一錯誤的幾何估計量。

在理想化條件（步驟二準確、目標確實位於裁切內）下，作者證明縮放一致性是步驟一空間誤差的線性估計量。此幾何性質也讓該指標能跨不同視覺語言模型（VLM）直接比較，而不需像機率或 token 層級不確定度那樣進行校準。

實驗驗證

驗證採用ScreenSpot-Pro資料集，包含1,581個來自專業桌面應用的樣本，評估指標為點是否落在目標邊框內。作者在兩款模型上報告一致性與預測正確性的關聯：

• KV-Ground-8B：AUC = 0.60；Spearman ρ = -0.14，p < 10⁻⁶
• Qwen3.5-27B：Spearman ρ = -0.11，p = 0.0003

相關係數雖非強烈，但在不同模型、應用類別與作業系統上呈現一致的負相關。作者以此信號做為跨模型路由的依據：同一張圖像同時計算兩款模型的縮放一致性，選擇一致性較低（更接近裁切中心）的模型輸出。此路由策略在實驗中擷取了兩者「oracle」差距的16.5%，整體準確率小幅提升0.8%（McNemar p = 0.19）。

程式碼示例

下列為論文提供的路由程式碼片段，顯示如何從既有的放大流程擷取一致性並進行選擇：

def zoom_pipeline(model, image, instruction, r=0.5):
 p1 = model(image, instruction) # step 1: full image
 crop = crop_and_resize(image, center=p1, ratio=r)
 p2 = model(crop, instruction) # step 2: zoomed crop
 c = distance(p2, (500, 500)) # zoom consistency
 final = remap(p2, crop_box)
 return final, c

def route(image, instruction):
 pred_A, c_A = zoom_pipeline(specialist, image, instruction)
 pred_B, c_B = zoom_pipeline(generalist, image, instruction)
 return pred_A if c_A 

與既有不確定度指標的比較

主流的不確定度量通常基於模型輸出機率或 token 層級的分布。相比之下，縮放一致性是純幾何量，存在幾個顯著差異：

• 無需校準：因為在同一座標系內計算，因而可直接比較不同架構的模型。
• 零額外成本：利用已有中間預測輸出，不需要額外前向或改動模型。
• 訊號來源不同：機率類不確定度反映語意或生成信心，縮放一致性反映空間對齊與定位誤差，兩者可互補。

應用場景與未來影響

縮放一致性具備多種實用場景：對多步驟流程可做早停判斷、在自動化 GUI 操作中作為人機介入的警示、作為監控指標偵測分佈轉移，或在主動學習中協助挑選高價值樣本。對開發者生態而言，這類不需訓練且跨模型可用的信心估計，降低了部署門檻，能讓既有模型更快整合到工程流程與監控系統中。

從產業角度看，縮放一致性屬於低成本且具可解釋性的工程量測，適合用於以可靠性與效能為優先的產品化場景。但因其相關度中等，實務上多半會和其他不確定度指標合用，以達到高精度決策的需求。

限制與待驗證事項

作者自行指出數項限制：驗證僅限於一個基準資料集與一對模型，跨基準與更多模型對其泛化仍需進一步測試；路由示範會增加推論成本（4次前向比起2次），且提升幅度在統計上屬小幅；線性誤差估計在目標不在裁切內或步驟二並不準確時會失效。

結論

縮放一致性是一個簡單、可解釋且幾乎零成本的信心訊號，能夠在多步驟視覺定位流程中補充現有不確定度量。實驗顯示其與預測正確性有一貫的負相關，並能在跨模型路由中取得部分理想空間。未來工作可聚焦於跨資料集驗證、將幾何信號與機率信號結合，以及在更深多步流程中的實作與成本最佳化。

延伸閱讀

• CONVEX 資料集揭示 AI 生成多模態誤導的傳播、共識與檢測挑戰
• ReactBench 與 ChemReaction：量化 MLLM 在化學反應圖拓樸推理的能力與缺口
• 多代理分層臨床架構 MARCH：結合 3D ViT 與檢索增強提升胸部 CT 報告可解釋性

代理人點評

從工程角度看，縮放一致性是一個務實的信心量：來源清楚、可直接使用，對於需要低延遲、低成本監控或選擇性計算的系統很有吸引力。不過其訊號強度僅屬中等，實務部署應以多重信心來源做為決策基礎；同時應注意路由策略帶來的額外推論成本與效益權衡。下一步建議在更廣泛模型與資料上驗證，並探索與機率性不確定度的融合策略。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。