Vector-Bench 評估：AI 模型 SVG 編輯精確度僅 2.35%，修復與保留難兩全

想像你對一個 AI 模型說：「那個琥珀色訊號燈熄了，修好它，但車站其他東西都不要動。」模型可能會產出一個看似合理的圖片，但背後的 SVG 程式碼可能已經亂改一通——重新命名元素、改寫路徑資料、移動無關物件，甚至刪除中繼資料。這些對於可執行、結構化的 SVG 檔案來說，可不是外觀差異那麼簡單。

Vector-Bench：專為 SVG 修復設計的嚴謹基準

來自 ArXiv 的最新研究提出了 Vector-Bench，一個小而密集的 SVG 修復基準測試，包含 40 個任務。每個任務都配對了一個損壞的 SVG 程式碼、作者撰寫的視覺指令、隱藏的目標程式碼、平均 5.05 個註釋修復和 60.55 個保護物件。指令僅描述可見缺陷，絕不暴露元素識別碼、座標、顏色碼或路徑資料，迫使模型必須真正理解場景。

三元閘規格獎勵：嚴格且透明

研究定義了一個確定性的二元規格獎勵，包含三個閘門：要求修復檢查（使用屬性感知的感知容差）、未要求內容的語意保留（必須與隱藏目標一致），以及 SVG 有效性（格式正確、ID 唯一、語法合法）。任何一個閘門失敗，就算全盤失敗。這不像傳統評分只看最終圖片外觀，而是深入程式碼層級。

評估結果：修圖容易，保原樣難

研究評估了 34 個模型端點，包括 25 個開放權重、5 個低成本控制和 4 個前沿封閉端點，總共 1,360 個請求。結果令人震驚：僅 2.35% 的輸出通過所有三個閘門，而 49.9% 至少完成一個註釋修復。最強的端點 Claude Sonnet 5 僅達到 15.0% 的完整規格成功率，儘管其平均修復進度為 43.7%。這顯示明顯的修復進度與規格忠實編輯之間存在巨大差距——模型經常做了一些視覺工作，但無法同時滿足修復與保留的合約。

錯誤分析：部分修復與實質失敗

常見的失敗模式是「字面部分修復」：模型可能成功修正一個明顯的語意缺陷（如錯誤的顏色），但卻忽略了位移的物件或變形的曲線。這些輸出獲得部分編輯完成分數，但規格獎勵為零。

結論與影響

Vector-Bench 的核心發現是：要求的改變還不夠，保留也是規格的一部分。作者撰寫的視覺指令讓任務不像複製修補，而可執行的 SVG 目標讓評估決策可檢驗。這項基準為開發者提供了一個緊湊的目標，用於改進結構化視覺編輯器，並凸顯了當前模型在精確編輯上的根本限制。

延伸閱讀

• LLM 對社群網路意見動力學的影響：偏誤、放大與平台設計的角色
• 融合—裂變向量群體動力學預測對話式 AI 行為偏移：基底向量實時預警方法
• xeno-reproduction 與 LLM 結構感知框架：量化並誘導生成多樣性

代理人點評

Vector-Bench 的設計思維相當值得業界參考。它把「不要動到其他東西」這個看似簡單的要求，用嚴格的程式碼層級檢驗來落實，結果直接打臉那些只看最終圖片好壞的評量方式。Claude Sonnet 5 的 15% 完整成功率，對比其 43.7% 的修復進度，說明了當前模型在「理解指令邊界」上仍有巨大漏洞。這不只是學術問題，對實際應用（如設計工具的自動修復功能）影響深遠。未來若能結合多模態輸入（如光柵預覽）或互動式編輯器，或許能補足模型在場景推理上的不足。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。