LLM 迭代精修在 TikZ 視覺程式客製化的效能評估
大型語言模型（LLM）在程式碼生成上已展現強大能力，但對於產生視覺輸出的 TikZ 程式碼客製化仍具挑戰。研究以 TikZ 為案例，探討在驗證器不可靠的情況下，迭代精修是否仍有效。
大型語言模型（LLM）在程式碼生成領域已取得顯著進展，能夠自動產出可執行的程式。然而，針對產生視覺結果的程式（如 TikZ）進行客製化仍相當困難，因為這類任務需要在保留原有結構的同時，進行語意保持的局部編輯。
與從頭生成不同，客製化要求模型先定位相關程式碼，依指示修改，並確保其餘結構與渲染不受影響。先前的後處理迭代精修方法透過驗證器回饋來指導修正，已展現一定成效。但對於 TikZ 這類視覺輸出難以自動化正式化驗證的程式，確定性的驗證器並不存在，開發者只能依賴不完美的驗證器。
研究方法
本論文以 TikZ 為聚焦案例，抽離出弱程式結構、細緻視覺語意與特徵定位困難等核心問題，將視覺程式客製化定義為「帶有不完美預言機的迭代編輯」問題，並提出分析此類迭代精修的框架。
研究進行大規模實驗，評估多種基於 LLM 的視覺驗證器與工具增強驗證器在迭代精修流程中的表現，同時手動標註精修軌跡以檢視驗證器行為與回饋品質。
主要發現
即使驗證器不完美，也能以中等準確度（F1 分數最高 0.815）判斷視覺指令是否正確套用於程式碼。回饋資訊顯著提升迭代精修效果，對較弱的模型（如 Qwen3‑vl‑30b‑a3b‑Instruct）可增加 11–20 個完美客製化案例；而較強的模型（如 Gemini‑3）雖提升較少（約 +5），但在精確驗證防止過早接受方面受益更大。回饋僅在能精確指出圖像問題、提供可執行建議、涵蓋所有相關問題且與原指令保持一致時才有效。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
