深度分析
NEWSAGENT 基準測試:AI 代理在真實新聞寫作中的搜尋與編輯能力評估
本研究提出 NEWSAGENT,一個專為評估多模態 AI 代理在真實新聞寫作任務中表現的基準測試。該基準包含 6,237 個由真實新聞文章經人工驗證的範例,將新聞寫作流程拆解為時序感知搜尋與內容編輯兩項核心功能。研究發現,當前 AI 代理雖能有效檢索相關事實,但在規劃敘事結構與整合資訊方面仍顯不足,與人類記者存在明顯差距。
深度分析
本研究提出 NEWSAGENT,一個專為評估多模態 AI 代理在真實新聞寫作任務中表現的基準測試。該基準包含 6,237 個由真實新聞文章經人工驗證的範例,將新聞寫作流程拆解為時序感知搜尋與內容編輯兩項核心功能。研究發現,當前 AI 代理雖能有效檢索相關事實,但在規劃敘事結構與整合資訊方面仍顯不足,與人類記者存在明顯差距。
深度分析
研究顯示社群貼文中微弱線索會累積暴露使用者住家或工作地點,作者提出SopriBench基準與PES評分,並開發訓練無需的Argus框架,提升跨貼文隱私推斷25%效能。此研究提供首個可公開的使用者層級多模態隱私洩漏基準,並以PES衡量暴露嚴重度,Argus在跨貼文推斷上比最佳基線提升0.11分。
深度分析
隨著視覺語言模型在多模態推理上表現優異,研究團隊設計 Grid2Matrix 基準,測試模型將彩色格子映射成矩陣的能力。結果顯示模型在小格子上即出現零樣本失效,且錯誤與格子跨越視覺補丁邊界高度相關,提出「數位失認」概念,指出語言輸出階段的資訊缺口。