深度分析
AI 編碼代理人自主研究對決:Codex 與 Claude 在規格遊戲中的取捨
本研究以《古蘭經》誦讀辨識的真實生產任務為實驗場,比較 Claude Code 與 OpenAI Codex 兩款前沿編碼代理人在「自主研究」循環(autoresearch loop)中的行為差異。代理人接收固定資料集、評估腳本與一個可編輯檔案後,自主迭代修改程式碼並僅保留提升分數的變更。
深度分析
本研究以《古蘭經》誦讀辨識的真實生產任務為實驗場,比較 Claude Code 與 OpenAI Codex 兩款前沿編碼代理人在「自主研究」循環(autoresearch loop)中的行為差異。代理人接收固定資料集、評估腳本與一個可編輯檔案後,自主迭代修改程式碼並僅保留提升分數的變更。
深度分析
本研究聚焦於編碼代理人在子任務完成後仍保有的餘留授權問題,提出Portico參考監控器,透過任務合約生成初始能力、授權規則與關閉規則,於授權期限結束即自動撤銷。實驗證明Portico能完全阻止事後使用過期能力,同時維持任務成功率與開發效率,此舉亦為未來安全編碼工具設計提供參考。
速報
資料策展是現代人工智慧開發中最關鍵卻最耗時的環節。研究團隊提出 Curation-Bench,透過固定模型、訓練流程與評估套件,讓編碼代理人可在指令列環境中檢視、實作與修正資料政策,並重複提交至訓練管線。實驗顯示,未經特別調校的代理人在十輪內即可達到既有資料選取基線的表現,但仍傾向微調既有政策而非探索新方法。