LLM-scaffold 分解

深度分析

Agent Psychometrics：以項目反應理論預測程式代理人任務難度的新框架

隨著大型語言模型（LLM）從靜態單步程式碼生成轉向多步驟的代理人互動，評估程式代理人的難度與成本急遽升高。現行僅以整體通過率（pass rate）評分的方式，無法揭露不同任務間的難度差異，且大規模評估耗費驚人。