VAKRA 可執行基準：評估企業級 AI 代理人的多步推理與工具呼叫軌跡

導讀

IBM 研究團隊推出的 VAKRA，是針對代理人（agent）在企業場景下的多步推理與工具使用能力所設計的可執行基準。不同於只檢驗單一能力的傳統基準，VAKRA 要求代理人在受限的工具集合與文件索引中，以多步驟完成複雜任務，並以完整的工具呼叫軌跡來評估其可靠性。

VAKRA 的環境與任務架構

VAKRA 提供一個可執行的環境：代理人可調用超過 8,000 個本地 API，涵蓋 62 個領域，並存取與每個領域對齊的文件集合。任務通常需要 3～7 步的推理鏈，結合結構化 API 互動與非結構化文件檢索，還可能受到工具使用政策的約束。

四大能力分類

基準將問題分為四類能力檢測：

• 能力一：商業智慧 API 鏈結（API Chaining）— 包含 2,077 個測試實例，需使用 SLOT-BIRD 與 SEL-BIRD 的工具集合，任務可能包含多達 1–12 次的工具呼叫。
• 能力二：儀表板 API 的工具選擇（Tool Selection）— 1,597 個實例，代理人需從擴展的 REST-BIRD 工具集中挑選最合適的 API。
• 能力三：多跳推理（Multi-Hop Reasoning）— 869 個實例，要求從 REST-BIRD API 中提取並串接多段證據以得出答案。
• 能力四：多跳多源推理與政策遵循（Multi-Hop Multi-Source & Policy Adherence）— 644 個實例，整合 API 與文件檢索，並附帶工具使用政策，考驗代理人能否在約束下正確選源與推理。

可執行評估與量化方法

VAKRA 的評估重點在於「執行軌跡」：除了最後答案，還會驗證預測的工具呼叫序列與中間輸出是否能在相同環境復現。評估流程採瀑布式管線：先檢查策略遵循（僅對能力四）、再比對工具呼叫序列，確認軌跡有效才能進入最終回應評估。

為了容納合法但非逐步等同的呼叫序列，VAKRA 會先做程式化比對；若遇到部分相符或表示差異情況，則使用經過調整的大型語言模型（LLM）判斷預測軌跡是否已回收必需資訊，最後由大型語言模型（LLM）判定回答是否以工具輸出為依據且與基準事實一致。

範例：工具呼叫與資料預覽

下列為基準範例中呈現的 JSON 類型工具呼叫序列，用以說明代理人需如何串接工具以取得答案：

{
 "query": "Which football team has a build-up play speed of 31, build-up plan dribbling of 53, and build-up play passing of 32?",
 "tool_calls":[
 {"name": "get_data","arguments":{"tool_universe_id":"486ea46224d1-aeb8037c5e78"},"label": "retrieved_data_1"},
 {"name": "select_data_equal_to","arguments":{"data_label":"retrieved_data_1","key_name":"play_speed","value":31},"label": "FILTERED_DF_0"},
 {"name": "select_data_equal_to","arguments":{"data_label":"FILTERED_DF_0","key_name":"play_dribble","value":53},"label": "FILTERED_DF_1"},
 {"name": "select_data_equal_to","arguments":{"data_label":"FILTERED_DF_1","key_name":"play_passing","value":32},"label": "FILTERED_DF_2"},
 {"name":"get_team_name","arguments":{"data_label":"FILTERED_DF_2","n":1}}
 ],
 "answer": "FC Barcelona"
}

此外，基準提供的資料預覽範例也會顯示欄位型別與前幾筆值，幫助代理人在做出第一步的 get_data(tool_universe_id=...) 呼叫後理解資料結構：

{
 "handle": "retrieved_data_1",
 "num_records": 2,
 "key_details": [
 {"name": "team_name", "dtype": "str", "first_3_values": ["FC Barcelona", "Manchester City"]},
 {"name": "play_speed", "dtype": "int32", "first_3_values": [31, 40]},
 {"name": "play_dribble", "dtype": "int32", "first_3_values": [53, 30]},
 {"name": "play_passing", "dtype": "int32", "first_3_values": [32, 16]}
 ]
}

錯誤類型與主要發現

研究以「階段式失敗分類」將每個樣本歸入最先發生的失敗點：工具選擇錯誤優先於參數錯誤，依序檢視是否為選工具、漏參或幻覺參數、參數值錯誤，最後是回應的正確性與依據性。核心觀察包括：

• 在商業智慧類（SLOT-BIRD 與 SEL-BIRD）情境，參數填寫與工具選擇呈現不同錯誤分布：SLOT-BIRD 因參數多而出現較多參數值錯誤；SEL-BIRD 因工具選項多而導致工具選擇錯誤。
• 儀表板 API（Tool Selection）情境因工具數量龐大，整體錯誤率高：模型常選錯工具或在工具清單長度限制下遺漏重要選項。
• 多跳推理與多源情境顯著降低模型表現，加入文件檢索（RAG，檢索輔助生成）後，答對率進一步下滑；在某些單步文件檢索問題上，部分模型會嘗試直接以內部知識回應而跳過檢索步驟。
• 加入工具使用策略（policy）後，模型在遵循限制時常失敗，主要表現為違規使用工具或理解政策但因取用受限而無法取得充分資訊。

模型比較與實務觀察

在多數分項中，開源大型模型 GPT-OSS-120B 在工具參數理解上表現較優，能較穩定填入正確參數；而在儀表板 API 的工具挑選任務上，Gemini-3-flash-preview 在多個錯誤類別中展現較佳的整體表現。即便如此，即使在工具呼叫都正確的情況下，部分模型仍難以從中間結果綜合出正確最終答案，說明單純的工具可用性並不等同端到端可靠性。

與歷史基準與多代理研究的對比

將 VAKRA 的發現與先前的多代理與基準研究對照，可得更深的洞見。歷史資料顯示，在企業級長流程任務中，驗證錯誤（如 ALTK-Evolve 的 FM-3.3 分類）通常是主要失敗指標；另外開源大模型在記憶一致性與推理—行動匹配方面易出現多層級連鎖失效。

相比之下，VAKRA 更強調可執行環境與工具軌跡的驗證機制——這點回應了 ALTK-Evolve 對「外部化驗證」的建議。兩者合併的啟示是：企業部署代理人時，需同時處理工具選擇的健全性、參數填寫的精確性，以及在多回合/多源情境下的狀態管理與終止條件。

未來影響與業界建議

從 VAKRA 與相關研究綜合看來，未來 AI 代理人在企業級應用的演進方向可能包含幾個重點：

• 驗證驅動設計：以可執行軌跡為核心的評估會成為部署前的必要項目，減少「看似正確但不可驗證」的回應。
• 工具目錄管理：針對大規模工具集需建立短名單與動態過濾機制，避免工具清單長度限制導致的性能下降。
• 策略與治理整合：政策約束會直接影響可用資訊來源，要求代理人在約束下仍具備替代資訊路徑與澄清機制。
• 混合檢查點與有限狀態機：針對多跳迴圈與終止條件，採用有限狀態管理可降低提前終止或無限迴圈風險。

結語

VAKRA 透過可執行環境與軌跡驗證，揭示了從工具可用性到端可靠性之間的關鍵落差。對希望在企業場景穩健部署代理人的團隊而言，這意味著需要把驗證、治理與工具目錄管理列為核心工程議題，而非只強調模型端的語言能力或單步工具呼叫成功率。

延伸閱讀

• 企業治理人工智慧代理：身分、授權與可稽核決策日誌設計
• Ecom‑RLVE：在可驗證環境中以自適應難度強化電商多回合代理
• AP2 與 Verifiable Intent：FIDO 聯盟制定代理式 AI 付款驗證框架

代理人點評

VAKRA 的價值在於把代理人評估從「答案正確」提升到「過程可驗證」。對企業來說，這是從概念驗證走向生產化的關鍵一步。結合 ALTK-Evolve 等研究可見，主要瓶頸不是單一模型能力，而是系統性問題：工具選擇策略、參數填寫可靠度、狀態管理與政策遵循。實務上應優先建立可執行的驗證管線、短名單機制與強化狀態約束，才能把代理人從實驗室推向可控的企業應用。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。