深度分析
IBM VAKRA 基準：評估 AI 代理在企業工作流中的 API 呼叫與政策遵循
IBM 研究推出 VAKRA 基於工具的企業級代理基準，測試跨 API 與文件的多步推理，包含 API 鏈接、儀表板選擇、多跳推理與政策遵循四大能力，結果顯示主流大模型在多階段工作流仍表現不足，影響未來商業部署。評分結合工具呼叫序列與最終答案的雙層驗證，突顯政策遵循與多源資訊整合的挑戰。
工具使用
速報
MENTOR：彈性獎勵結構提升小型語言模型工具使用能力
將大型語言模型的工具使用能力濃縮至小型模型是落地應用的關鍵。傳統的監督微調因過度對齊教師軌跡，導致跨領域表現不佳；而強化學習在模型容量受限時，稀疏回饋或嚴格軌跡匹配都會出現困境。研究提出 MENTOR，採用彈性且具流程感知的獎勵機制，以教師參考而非嚴格複製指導模型行為，兼顧行為對齊與下游效能。
深度分析
VAKRA 基準揭示 AI 代理人在企業環境中的多跳推理與工具使用挑戰
IBM 於 2026 年推出 VAKRA 基準，測試 AI 代理人在企業環境的多步推理與工具使用。基準以 8,000+ 本地 API 與 62 領域文件，分四項能力評估模型在 API 鏈接、工具選擇、多跳推理與政策遵循上的表現。結果顯示模型在工具選擇與參數填寫上錯誤率高，政策限制進一步降低正確率，突顯實務部署挑戰。