深度分析 AI Agent 評估成本困境：解析 LLM Agent 基準測試的「足夠樣本」問題 AI Agent 評估成本高昂，開發者常嘗試使用部分樣本進行測試。本研究透過回溯分析 SWE-bench 等公開基準測試記錄，探討部分運行能否支持與完整測試相同的兩兩比較決策。結果顯示，足夠的樣本比例隨基準測試而異，部分案例甚至在 95% 樣本下仍不可靠。研究指出部分評估需嚴格定義改善門檻、覆蓋規則及決策邏輯，才能有效降低成本而不影響結論。
