GPTNT 基準測試：多人協作解炸彈挑戰揭露大型語言模型的合作盲點

背景與動機

多模態模型已開始在與人類或其他人工智慧代理人共同完成任務的情境中使用。然而，現有評測多聚焦於單一因素，如時間壓力、資訊不對稱或溝通不完整，缺乏同時考驗多種協作條件的測試。

GPTNT 基準設計

研究團隊以合作式電玩《Keep Talking and Nobody Explodes》為基礎，打造 GPTNT 基準。遊戲要求兩名玩家協同拆除程式生成的炸彈：

• 玩家 A 能看到並操作炸彈，但沒有拆彈說明書。
• 玩家 B 持有說明書，卻看不見炸彈。

雙方必須即時、非輪流地交流，才能在倒數計時結束前完成拆彈。基準可分離出對說明書、合作夥伴或兩者的依賴，測試模型在當下推理而非僅憑記憶的能力。

實驗結果

測試包括多個開源與商業大型語言模型。所有模型在實時條件下均未成功拆除單一炸彈，遠低於人類玩家的表現。進一步分析指出四大弱點：

1. 狀態追蹤不足，無法持續記錄炸彈的變化。
2. 在時間壓力下行動效率低下。
3. 對指令或訊息的歧義處理不佳。
4. 錯誤恢復機制缺乏，導致小失誤累積失敗。

意義與未來方向

GPTNT 作為真實遊戲上的基準，受益於程序化生成與活躍的模組社群，可隨模型進步持續演化，避免一次性解題後即被拋棄。研究者期望此基準能促進協作式 AI 的更實用評估與技術突破。

延伸閱讀

• DART：運行時語意可受理性與回滾可接受性檢查
• FactoryFlow：以密度保存中介表示與人機監督強化LLM輔助的數位孿生建模（含DataFITR、FactorySimPy）
• COSMO-Agent：以工具輔助強化學習連結 CAD 與 CAE 的閉環設計優化

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。