LLM Evaluation

速報

AI 程式助手能力大考驗：增加工具不一定能提升軟體品質

針對 AI 程式助手是否能透過增加工具提升軟體品質，一項最新研究透過 90 次獨立運行構建即時回顧看板來驗證。研究測試了不同模型等級、推理努力程度及測試工具的影響，發現頂尖模型表現優異，而低成本模型得分較低。結果顯示增加測試工具僅提升成本而未改善功能，但提高推理努力能顯著提升首次成功率，顯示推理能力才是解決失敗的核心。