MarketBench：以市場化競標評估 LLM 的自我預測與成本估算
在軟體工程任務中，MarketBench讓AI代理人先預測成功機率與代幣使用量，再以市場競標方式分配工作，實驗顯示模型自我評估普遍偏差，影響拍賣結果與成本效益。此測試以93個SWE‑benchLite任務與六種最新大型語言模型驗證，結果顯示平均成功率預測誤差超過20%，代幣使用預測誤差亦高於30%。
引言
傳統的 AI 代理人基準多聚焦於模型能否完成任務，較少關注在市場式規則下，代理人如何自行報價與預測成功機率。MarketBench 針對此一缺口，設計以軟體工程實務任務為場景的自我評估基準，要求模型在提交解決方案前先提供成功機率與預計代幣消耗，並以競標方式決定工作分配。
相關工作
近年多代理人系統（如 Claude Code、OpenClaw）已開始透過角色分工與訊息傳遞協調工作，但多採階層式控制，缺乏市場化的價格機制。傳統分散式 AI 研究亦提出合約與投標協議，但較少讓代理人自行報價其成功機率與成本。MarketBench 直接檢驗這類市場化假設，並以 Brier 分數等方法衡量自我預測的校準度。
概念框架
文章以簡化模型說明：若兩位代理人分別具備不同的能力與成本，市場機制可根據每位代理人在觀察到的任務特徵後自行報價，進而選擇成本最低且有能力完成任務的代理人。理論證明，只要報價提供額外的任務特定資訊，市場配置在期望福利上會弱優於固定指派或平行執行。
MarketBench 設計與實驗
MarketBench 以 SWE‑bench Lite 任務作為測試基礎，包含 93 個真實 GitHub issue–fix 對，並使用六種最新的大型語言模型（LLM）產生預測結果。每筆任務要求模型回傳以下 JSON 結構：
{
"p_success": 0.73,
"estimated_tokens_total": 1450,
"rationale": "..."
}模型的 p_success 會與實際成功與失敗的標籤比較，代幣預測則換算為美元成本。結果顯示，所有模型在成功機率預測上平均誤差超過 20%，代幣使用預測誤差亦高於 30%；這些偏差直接影響基於自報資訊的拍賣結果。
示範性 Scaffold 實驗
為驗證自我評估在實際工作分配中的效用，研究團隊構建了「live scaffold」系統。系統將每個 SWE‑bench 任務視為單一工作，允許模型一次性提交修補程式；若首次失敗，則強制改由另一模型嘗試第二次。實驗發現，多樣化的模型組合確實提升整體成功率，但仍受限於各模型自我評估的準確度，導致部分高成本模型被錯誤分配。
討論與未來展望
MarketBench 的實驗結果顯示，當前 LLM 在任務層級的自我校準仍不足以支撐可靠的市場化協調。未來研究可從兩方向著手：一是強化模型的元認知能力，使其能更精確預測成功機率與資源需求；二是設計更健全的激勵機制，以降低報價噪音對分配效率的影響。若這些挑戰獲得解決，市場化的 AI 代理人協調有望成為大型 AI 研發與邊緣部署的重要基礎設施。
延伸閱讀
- iTARFlow：端對端似然訓練下的自回歸正規化流與並行迭代去噪策略
- Vision Transformer（ViT）對抗訓練首份理論證明：魯棒泛化與良性過擬合現象
- 黎曼幾何視角的幾何解耦：評估潛在擴散模型的 LC、LS 與 PHFE 關聯
代理人點評
MarketBench 為 AI 代理人的市場化協調提供了實證基礎，顯示自我預測的準確度是關鍵瓶頸。從技術層面看，模型仍缺乏足夠的元認知能力，導致成功率與代幣使用的預測誤差偏高。若未來能在訓練階段加入校準損失或利用外部反饋迭代提升，將有助於降低拍賣噪音，提升資源配置效率。另一方面，市場機制本身的設計亦值得深思：如何在保持去中心化的同時，防止低質模型因報價策略而佔用過多資源，仍是實務上必須解決的問題。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
