深度分析
AI Agent 評估成本困境：解析 LLM Agent 基準測試的「足夠樣本」問題
AI Agent 評估成本高昂，開發者常嘗試使用部分樣本進行測試。本研究透過回溯分析 SWE-bench 等公開基準測試記錄，探討部分運行能否支持與完整測試相同的兩兩比較決策。結果顯示，足夠的樣本比例隨基準測試而異，部分案例甚至在 95% 樣本下仍不可靠。研究指出部分評估需嚴格定義改善門檻、覆蓋規則及決策邏輯，才能有效降低成本而不影響結論。
SWE-bench
深度分析
AI 編碼代理最小程式碼上下文實驗：SWE‑bench 71 案例顯示摘要與結構化資訊無效
研究聚焦於編碼代理在修正程式碼時實際需求的上下文，測試完整檔案、結構化摘要與壓縮表示。結果顯示，唯一關鍵是被編輯的程式碼本身，摘要與類別骨架幾乎不提供資訊；壓縮上下文僅需約19,000token，即可達到與完整檔案相同的解決率。此發現對未來 AI 編碼工具的設計具有重要啟示。
代理型人工智慧
代理型人工智慧能力指標：SWE-bench、GAIA、τ-bench 等七大基準解析
面對從研究到生產部署的轉變，評估代理型人工智慧成為關鍵。本文比較七項基準，涵蓋軟體修補、自主網頁導航、多步工具使用、策略與工具互動一致性、視覺抽象推理、跨系統電腦操控與跨領域廣度，解析每項測試的能力指標與意義。結論為無單一分數可代表整體能力，須綜合不同基準並考量測試架構差異。