AI 自主度提升降低開發負荷:GitHub Copilot 與 AWS Kiro 實驗報告
本研究以四名開發者重建同一全端 Web 應用,分為三個階段:部分 AI 輔助(GitHub Copilot)、全 AI 工作流程(GitHub Copilot)以及全 AI 工作流程(AWS Kiro)。
研究背景與方法
本研究由四位開發者組成的團隊,重新實作同一全端 Web 應用,分為三個連續階段,以比較不同 AI 自主程度的影響。
第一階段為部分 AI 輔助開發,使用 GitHub Copilot 提供即時建議;第二階段則全面使用 GitHub Copilot 完成開發流程;第三階段改用 AWS Kiro,完全由 AI 主導。
評估指標
評估項目包括開發工時、需求符合度(RITM 分數)、AI 互動效率以及 NASA‑TLX 心理負荷量表。
主要發現
隨著 AI 自主程度提升,開發工時明顯下降,需求符合度提升,開發者自報的心理負荷亦降低。然而,開發者的挫折感略有上升。
AWS Kiro 階段在大多數指標上表現最佳,顯示工具架構本身可能對成果有獨立影響。
延伸閱讀
- AI 科學家:全自動科研系統首次通過機器學習會議審稿
- Every Eval Ever:以 JSON Schema 統一 AI 評估結果的社群資料庫
- 以 EvalStop 抑制 RLHF 獎勵過度最佳化的早期停止機制
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。