深度分析
CREDENCE 框架:以 Semantic‑F1 提升聲稱分解與事實查核的語意相似度
自動事實查核需要先把複合句拆成可驗證的原子斷言。研究推出CREDENCE框架,以語意相似度的Semantic‑F1替代Jaccard,並提供規則與LLM自我修復的收斂分析。實驗顯示在三大資料集上提升15‑32個百分點的分數,同時將原子違規率降低最高100%。
深度分析
自動事實查核需要先把複合句拆成可驗證的原子斷言。研究推出CREDENCE框架,以語意相似度的Semantic‑F1替代Jaccard,並提供規則與LLM自我修復的收斂分析。實驗顯示在三大資料集上提升15‑32個百分點的分數,同時將原子違規率降低最高100%。
深度分析
本研究以 TRUST 多代理 LLM 流程檢驗角色忠實度,開發立場分類器並提出四項漂移指標,發現「認知底層效應」與「角色先行衝突」兩大失效模式,且模型與事實查核服務的選擇顯著影響結果,對政治言論分析的可靠性與治理提出警示,並呼籲未來系統設計納入角色忠實度測量,以提升系統透明度與公共信任。
速報
自動化事實查核仰賴主張擷取,但社群貼文常把短文與迷因、截圖或照片混合,挑戰不同於純文字或傳統視覺任務。該研究提出首個針對社群多模態主張擷取的基準資料集,採用由真人查核者標註的貼文主張,並以語意對齊、真實性與去文脈化三向度評估多模態大型語言模型。