DTBench：首個具能力感知的文件轉表格合成基準

背景與挑戰

文件轉表格（Doc2Table）旨在將非結構化文件依照目標模式抽取成結構化表格，以支援 SQL 為基礎的資料分析。然而，大型語言模型（LLM）在產出精確表格結構的能力仍未被系統性評估，尤其是需要推理與衝突解決的間接抽取情境。

DTBench 的設計理念

研究團隊拋棄傳統以人工標註文件-表格配對的成本高、規模受限方式，採用逆向的 Table2Doc 範式。透過多代理人合成工作流程，從真實表格生成對應文件，進而建立 DTBench 合成基準。

DTBench 依據兩層分類法，定義 5 大類 13 小類的 Doc2Table 能力，涵蓋推理、忠實度、衝突解決等關鍵面向。

實驗與發現

研究者在 DTBench 上測試多款主流 LLM，結果顯示模型間表現差距顯著，且在推理、忠實度與衝突解決上仍存在持續挑戰。

影響與未來展望

DTBench 作為開源測試平台，提供完整的資料生成與評估環境，預計將加速文件抽取技術的研究與應用，促進更可靠的資料分析流程。

延伸閱讀

• MADP 多代理流水線與PFTFI：以LLM與人員回饋提升文件擷取準確度
• 狀態驅動編排（SDOF）：結合意圖路由器與 SkillRegistry 的合規防線
• 整合MPHA與ACSE的IFPV框架：生成式作戰規劃到高擬真驗證閉環

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。