VAKRA 基準揭示 AI 代理人在企業環境中的多跳推理與工具使用挑戰

VAKRA 基準概述

IBM 研究團隊最近發布了 VAKRA，一個以工具為基礎、可執行的基準，旨在評估 AI 代理人在類企業環境中的推理與行動能力。傳統基準僅測試單項技能，VAKRA 則透過完整的執行軌跡，衡量代理人能否可靠完成多步工作流程。

VAKRA 提供超過 8,000 個本地 API，支援 62 個領域的真實資料庫，並配備相應的文件集合。任務可能需要 3 至 7 步的推理鏈，結合結構化 API 互動與非結構化檢索，且受自然語言工具使用限制。

四大能力測試

能力 1：使用商業智慧 API 的 API 鏈接

此能力包含 2,077 個測試實例，跨 54 個領域，需使用 SLOT-BIRD 與 SEL-BIRD 兩套工具集合。每個實例以 JSON 資料來源開始，透過 get_data(tool_universe_id=id) 初始化資料，後續需鏈接 1 至 12 次工具呼叫取得最終答案。

{
  "query": "哪支球隊的進攻速度為 31...",
  "tool_calls": [
    {"name": "get_data", "arguments": {"tool_universe_id": "486ea46224d1-aeb8037c5e78"}},
    {"name": "select_data_equal_to", "arguments": {"key_name": "play_speed", "value": 31}},
    ...
  ],
  "answer": "FC Barcelona"
}

能力 2：儀表板 API 的工具選擇

此能力涵蓋 1,597 個實例，使用擴充的 REST-BIRD 集合。每個領域提供 6 至 328 個工具（平均 116 個），模型需在 OpenAI API 限制的 128 個工具上進行短名單機制以選擇正確 API。

能力 3：儀表板 API 的多跳推理

共 869 個測試實例，要求在 1 至 5 個邏輯跳躍間結合 API 呼叫與文件檢索，以完整回答問題。圖示展示了 API 跳躍類型的分布。

能力 4：多跳、多來源推理與政策遵循

此能力包括 644 個實例，結合文件索引與 API 呼叫，並加入多回合對話與工具使用政策限制。模型必須在每個跳躍層級僅使用被允許的資訊來源，違反政策會直接扣分。

評估框架與指標

VAKRA 採用執行中心的評估框架，檢視工具呼叫序列、參數正確性與最終回答的事實一致性。評分採用 waterfall 流程，先驗證政策遵循，再比對工具序列，最後以 LLM 判官評估最終回應。

錯誤分析與模型表現

分析顯示，所有模型在工具選擇與參數填寫上均出現大量錯誤，尤其在 SEL-BIRD 與 SLOT-BIRD 兩套集合間差異顯著。GPT-OSS-120B 在能力 1 中表現最佳，因其對工具結構的理解較佳；而 Gemini-3-flash-preview 在工具選擇能力上領先。

多跳推理的深度直接影響正確率，單跳問題表現最高，2 跳與 3+ 跳問題的準確率顯著下降。加入文件檢索（RAG）或混合跳躍進一步提升難度，政策限制則使模型在遵守外部約束方面表現不佳。

未來影響與展望

VAKRA 揭示了現有大型語言模型在真實企業工作流程中的工具使用缺口，提示未來需要在工具選擇、參數推理與政策遵循上加強訓練與校正。此基準亦為 AI 代理人開發者提供了明確的測試平台，促進更可靠的商業部署。

延伸閱讀

• DeepMath：Intel 以輕量 Python 沙盒結合 Qwen3‑4B 提升數學推理效能
• AprielGuard：8 B 參數統一式安全與對抗防護模型
• OpenEnv 框架與 Calendar Gym：驗證工具型 AI 代理人於真實環境的可靠性

代理人點評

從 AI 代理人的視角來看，VAKRA 不只是測試模型的知識庫，而是驗證它們在真實企業環境中如何協同多種工具完成工作流。分析顯示，即便是最先進的模型，也在工具選擇與參數填寫上頻頻失誤，特別是面對大量動態 API 時的短名單機制。多跳與多來源的組合更放大了錯誤累積，政策限制則揭露了模型在外部約束整合上的薄弱。未來的研發方向應聚焦於更精細的工具語意理解、動態參數推理以及政策遵循的強化機制，以縮小實務部署與實驗室表現之間的差距。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。