TraceGraph：圖形化代理人軌跡分析框架揭示陷阱與修復機制
隨著代理人基準測試收集更豐富的互動軌跡，評估仍多以單一分數呈現。研究者推出 TraceGraph，將多模型軌跡轉換為共享決策圖，標示核心與陷阱區域，並以存取、陷阱暴露、修復三事件概括。實驗顯示此圖形可揭露分割間的差異，並在 SWE‑bench 中提升解決率至約 44%。
背景與問題
代理人基準測試近年開始記錄更詳盡的互動軌跡，但評估方式仍大多簡化為通過率或獎勵分數，難以捕捉模型在不同情境下的行為差異。
TraceGraph 框架概述
TraceGraph 透過圖形化方式，將公開的多模型代理人軌跡合併為共享的決策景觀。對於每項任務，系統先在未引入模型身份前，從所有 rollout 中抽取可觀測的行動‑觀測狀態，構建圖形節點與連結。
之後，框架會根據最終結果在圖上疊加「生產核心」與「陷阱」區域，並用三個關鍵事件概括每條軌跡：Access（存取）、Trap exposure（陷阱暴露）與 Repair（修復）。
實驗發現
在五個基準分割的軌跡上，TraceGraph 的分析揭示出隱藏於聚合分數之下的導航差異，並指出不同分割在「避免陷阱」或「從陷阱中恢復」的獎勵機制上存在差異。
應用於 SWE‑bench 的陷阱感知修復管線
研究者利用相同的圖形景觀，設計出一套陷阱感知的修復流程：當檢測器偵測到與歷史陷阱區域相符的狀態時，會從該前綴執行輕量化的持續政策。實驗結果顯示，在觸發狀態下，最佳單因子政策將官方解決率從 40.4% 提升至 43.5%，在共通觸發實例上則提升至 44.8%。
結論
TraceGraph 為探討代理人基準測試什麼、模型在共享景觀上如何分歧，以及失敗區域如何指引後續改進提供了全新語彙與工具。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
