組合性測試

速報

DecompSR：大型語言模型空間推理組合能力基準

研究推出DecompSR大規模空間推理基準，收錄逾五百萬筆資料，能獨立調整推理深度、實體變化、輸入順序與新詞彙等組合性。此基準以程序化方式生成，並透過符號求解器驗證正確性，提供可細緻探測模型組合推理的工具。測試顯示大型語言模型在生產性與系統性推理上仍有不足。