速報
Office Comprehension Bench:首個同時評測 Word、Excel、PowerPoint 的大型語言模型基準
研究團隊推出首個同時評測 Word、Excel、PowerPoint 的基準 OCB,分為結構視覺測試與跨領域專業問答兩條軌道。測試以原子化判斷方式由多個 LLM 評審打分,最先進系統在專業問答上僅達 59.3% 左右,提升深度效益有限,升級產品等級才有小幅提升。
速報
研究團隊推出首個同時評測 Word、Excel、PowerPoint 的基準 OCB,分為結構視覺測試與跨領域專業問答兩條軌道。測試以原子化判斷方式由多個 LLM 評審打分,最先進系統在專業問答上僅達 59.3% 左右,提升深度效益有限,升級產品等級才有小幅提升。
深度分析
在 UNLP 多領域文件理解競賽中,作者團隊以 Qwen 系列模型構建一套檢索增強(RAG)管線,聚焦於保留文件結構的上下文分段、問題感知的密集檢索與以候選選項為條件的重排,並以受限生成機制完成最終答案選擇。