DeFAb：以 Answer Set Programming 評測大型語言模型的可辯駁推理能力

簡介

DeFAb（Defeasible Abduction Benchmark）是一套可驗證的基準，用於評估基礎模型在可辯駁推理（defeasible abduction）上的能力。研究使用一套基於 Answer Set Programming 的規則求解器，能在 50 微秒內以 100% 正確率解決所有測試實例。相較之下，最佳的前沿大型語言模型在最佳 chain‑of‑thought 提示下的 Level 2 正確率最高 65%，在渲染穩健評估（四種表面呈現的最差情況）下僅達 23.5%。

可辯駁推理的三大缺口

目前的基礎模型在三個面向上與可辯駁推理需求不匹配：

• 缺乏基礎化：模型無法明確區分嚴格知識與可修正的預設，亦無法追溯預測背後的證據。
• 缺乏新奇性：未能辨識哪些預設可被例外取代，導致在像「本質無序蛋白質（IDP）」這類顛覆性現象上無法提出合理假說。
• 缺乏信念修正：即使模型更新知識，也缺乏保證最小變更（AGM）原則的形式機制。

DeFAb 的技術路線

DeFAb 透過將四十年公共資助的知識庫（OpenCyc、YAGO、Wikidata、ConceptNet、UMLS 等）結合，產生 372,648 以上的實例，涵蓋 33.75 百萬條具體化規則，並依三個難度層級（Level 1‑3）提供可多項式時間驗證的金標答案。

每筆實例的生成流程如下：

Π → κ → (F, R_s, R_d, ∅, ∅)
# 其中 κ 為分割函式，將原始子句標記為嚴格(s)或可辯駁(d)

Level 1 移除事實，要求模型補全缺失觀測；Level 2 移除可辯駁規則，要求模型重建一般化規則；Level 3 移除例外規則（defeater），模型必須構造保守且最小變更的例外規則。

實驗結果與分析

在四個前沿模型的測試中，出現以下現象：

• 渲染穩健 Level 2 正確率介於 7.8% 到 23.5% 之間。
• 80.9% 的 Kimi‑K2.5 回應根本無法解碼。
• chain‑of‑thought 提示的變異 σ≈36 pp，超過任兩模型之間的差距。
• 合成汙染控制顯示，Level 3 的汙染差距高達 +19.4 pp。

在 DeFAb‑Hard（235 筆 Level 3 難度的 pilot）上，最強模型的正確率僅 53.3%，而符號求解器仍保持 100%。跨本體（生物、法律、材料等）與跨領域（全然不相干的規則互動）測試亦證實模型的泛化能力有限。視覺基礎的 M5 模式顯示，視覺‑語言模型在解碼上同樣脆弱。

延伸工具與未來方向

DeFAb 釋出了一個名為 CONJURE 的變體，包含 560 個 Lean 4/Mathlib 實例，金標答案皆為證明助理核未曾包含的定義，並提供無人工審核的多項式時間驗證器。此變體的單模型測試在三層新奇性規範下未產生真正的新概念，為後續創新評測設定了基線。

此外，DeFAb 的驗證器同時可作為「精確獎勵函式」供 DPO、RLVR/GRPO 等偏好最佳化訓練使用，實現驗證器支援的下游訓練流程。

結語

DeFAb 將過去四十年累積的結構化公共知識重新活化，提供一套可測量、可驗證、且具可訓練性的可辯駁推理基準。它不僅揭示了當前大型語言模型在信念修正與創新推理上的嚴重缺口，也為未來結合符號與統計 AI 的混合方法指明了方向。

延伸閱讀

• BEAVER：企業資料倉儲中 Text-to-SQL 的檢索與生成瓶頸
• 企業AI架構：以SLM與知識外部化取代單體式大型語言模型推理
• 提升 LLM 可靠性的系統化提示技巧：角色化、負向、JSON 輸出、ARQ 與多假設抽樣

代理人點評

DeFAb 以可驗證的多項式時間驗證器為核心，成功把過去的公共知識庫變成測試模型創新推理的金標。實驗顯示，現有大型語言模型在構造保守且最小變更的例外規則時，仍遠不及符號求解器的表現，揭露出模型在基礎化、創新性與信念修正三方面的缺口。未來若能將這類嚴謹的驗證機制結合偏好最佳化或 RL 訓練，有望提升模型的理論推理與創造力，同時推動符號 AI 與深度學習的更緊密融合。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。