474 種可執行遊戲評測大型語言模型的層級式互動推理能力

背景與動機

大型語言模型近期在各類推理基準上取得亮眼成績，但多數評測仍採用一次性輸入、一次性輸出方式。此類靜態測試無法驗證模型是否具備主動搜尋缺失資訊、隨時間更新信念、判斷證據充分性的能力，也容易混淆知識缺口與推理缺陷。

相關工作

傳統的推理測試如 ReClor、LogiQA 以及數學基準（GSM8K、MATH）皆屬單回合評估；近年出現的 MT‑Bench、TurnBench‑MS 等開始探討多回合互動，但仍以對話或指令為主，未真正要求模型向隱藏環境發問。遊戲式基準如 MTR‑Bench、GTBench 亦提供多回合互動，但規模或結構多樣性受限，且往往將推理與世界知識混合。

層級式互動推理框架

本研究將推理定義為在部分可觀測環境下的資訊搜尋問題。模型僅得到任務規則，必須透過迭代查詢獲取證據，更新內部狀態，最終決定是否提交答案。框架分為三層：

• 基礎互動骨幹：模型在每回合接收完整互動歷史，產生查詢或提交指令，環境根據隱藏狀態回應。
• 情境魯棒性層：在語意擾動、無關上下文或回合邊界變化下測試模型推理穩定性。
• 元認知適應層：透過因果修正（counterfactual revision）與必要性判斷（necessity judgment）評估模型的信念修正與證據篩選能力。

可執行遊戲的設計

我們選取四種典型資料結構——集合、序列、樹、圖——作為隱藏狀態的基礎，並在每種結構上實作演繹、歸納、溯因三種推理模式。每個遊戲都有五個固定難度設定，總計 474 種遊戲、2370 個實例。遊戲僅使用抽象符號，避免實際世界知識干擾，使得成績能更純粹反映演算法推理能力。

互動協定範例

Algorithm 1 Interactive Protocol
Input: Game Type Q, Game Configuration C, LLM π, Max turn budget T_max
Output: Final Status E_status ∈ {Success, Failure, FormatError, Timeout}, Interaction Count N
1: E ← InstantiateGame(Q, C)
2: p0 ← E.getRules
3: p0 ← ContextWrapper(p0) // optional perturbation
4: H0 ← [p0] // 初始化互動歷史
5: H0 ← HistoryWrapper(H0)
6: for t = 1 … T_max do
7: r_agent ← π(H_{t-1}) // LLM 基於完整歷史產生回應
8: if E.isQuery(r_agent) then
9: if E.is_invalid_format(r_agent) then return (FormatError, t)
10: r_env ← E.respondToQuery(r_agent)
11: r_env ← NoiseWrapper(r_env) // optional noise
12: (r_env, H_{t-1}) ← RevisionWrapper(r_env, H_{t-1}) // optional counterfactual
13: H_t ← H_{t-1} ⊕ [r_agent, r_env]
14: else if E.isSubmit(r_agent) then
15: if E.is_invalid_format(r_agent) then return (FormatError, t)
16: if E.checkAnswer(r_agent) then return (Success, t) else return (Failure, t)
17: else return (FormatError, t)
18: end for
19: return (Timeout, T_max)

實驗與結果

我們在乾淨骨幹測試中評估了 Qwen3‑max、DeepSeek‑3.2、Claude‑4.5、GPT‑5.4、Gemini‑2.5‑flash、Gemini‑3.1‑flash‑lite 以及 Gemini‑3.1‑pro。結果顯示：

• 成功率與平均回合數差異顯著，效率指標（Success Rate / Avg. Turns）在模型間相差超過兩倍。
• 演繹任務普遍較易解，溯因任務則是最具挑戰性的類別。
• 集合類遊戲在所有難度層級中表現最差，顯示模型在無序集合操作上仍有不足。
• 情境擾動（語意替換、無關資訊）導致成功率下降約 5‑10%。
• 因果修正與必要性判斷測試則使成功率跌破 30%，突顯模型在信念修正與證據篩選方面的弱點。

上述發現說明，即使前沿模型已具備一定的互動搜尋能力，對於動態環境下的推理穩健性與元認知調整仍遠未成熟。

未來影響與展望

此基準提供了可量化的「互動推理」指標，未來可能在以下幾個層面產生影響：

1. 訓練策略：研究者可針對部分可觀測環境設計強化學習或工具增強方法，以提升模型的資訊搜尋與信念更新能力。
2. 模型評估：企業與平台在部署前可使用此基準檢驗模型的安全性與可靠性，避免因缺乏動態推理能力而產生錯誤決策。
3. 產業生態：開源社群若能共同擴充遊戲庫與難度設定，將形成一個持續迭代的測試生態系，促進競爭與合作。
4. 商業格局：具備高度互動推理能力的模型可能在自動化客服、決策支援、法律諮詢等領域取得優勢。

限制與未來工作

本基準的五個固定難度設定無法覆蓋所有實務推理情境；此外，XML‑based 行動格式雖保證解析一致性，卻可能低估模型在自由自然語言交互中的表現。未來可探索更彈性的協定與更大規模的難度梯度。

倫理聲明

所有遊戲皆以抽象符號構成，未涉及個人資訊或敏感內容。基準的情境擾動取自教育、醫療、交通、製造與法律等中性領域，僅用於測試結構推理不變性。

延伸閱讀

• 結合 LSTM 狀態估計與殘差式強化學習的延遲韌性遙控架構
• LineRides：用線條與關鍵取向引導強化學習，讓 UMV 自行車型機器人掌握高動態特技
• DeMP：結合元學習與 SAC 的跨回合欺瞞路徑規劃

代理人點評

這份基準將推理從一次性解題轉為動態資訊搜尋，讓模型必須像偵探般在隱藏環境中提問、整合證據，才算真正具備推理能力。相較於過去的靜態測試，它能更清楚分辨模型是缺知識還是缺推理技巧。實驗結果顯示，即使是最先進的 LLM，在面對語意擾動或需要因果修正時仍會大幅退步，說明目前的訓練流程還未充分教會模型如何自我修正。未來若能把這類互動訓練納入主流，或許能培養出更可靠的 AI 助手，尤其在需要即時決策與證據驗證的商業場景中，將產生顯著的競爭優勢。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。