CRAFT：結合原子陳述、ASR 與批判迴圈的多影片來源可追溯問答管線

導讀

新聞類長影片常包含分散在多支來源的視聽證據：受訪語句、現場畫面、臨場旁白，都可能承載關鍵事實。如何在多影片集合中，抽出可被追溯（source-grounded）的陳述，並為每一項陳述附上正確來源，是當前多影片問答與自動事實查核的核心挑戰。CRAFT應對這個場景，提出一套以「陳述為中心」的處理流程，將證據抽取、驗證與引用合併為閉環。

系統概覽

CRAFT代表 Critic-Refined Adaptive Key-Frame Targeting。其設計有三個關鍵模組：

• 多模態證據串流（evidence stream）：把長影片切成最多120秒的區段，對每段做逐片語音轉寫（ASR），提供自動英文翻譯，並針對查詢選出動態關鍵影格，讓視覺語言模型取得與查詢對應的影像片段與逐段稿本。
• 原子陳述抽取（atomic claims）：每個查詢─影片配對先抽出最小可驗證的事實性陳述，作為之後驗證與合併的基本單位，避免冗長敘述造成引用冗餘。
• 混合批判迴圈（critic loop）：對每一原子陳述執行多階段驗證，包括 UNLI 時間蘊含模型進行時間性地面化、DeBERTa-v3 做跨陳述矛盾篩選，最後以 Llama 型仲裁者確認矛盾並回饋修正意見。此迴圈最多允許數輪重抽與修正。

核心技術要點

CRAFT的幾個策略相互補強。第一，120秒的切片策略解決長影片在固定影格預算下被截斷的問題，並保留段到段的父影片映射以利最終引用回復。第二，把語音視為一等證據（per-video ASR）補齊視覺信息無法覆蓋的口述事實，並以多語回退機制處理低資源語言。第三，原子化陳述與引用合併（citation-merging）在保留引用回召的同時壓縮重複陳述，提高報告的精緻度。

實驗結果精要

在 MAGMaR 2026 的 oracle 任務上，CRAFT在多項指標領先，包括整體平均分、參考回召（Ref-R）與引用 F1。消融實驗顯示，啟用 ASR、採用原子陳述格式，以及加入批判迴圈，分別對系統性能帶來實質提升。作者也在經過 MAGMaR 格式轉換的 WikiVideo 子集上驗證方法的遷移性，結果同樣強健。

與既有方案的比較分析

在長影片理解領域，現有方法多沿兩條主線發展：一是架構與記憶機制的擴展，像是 LongVU 或 Video-XL 以稀疏記憶或分層注意力擴展長上下文；二是檢索式流水線（video-RAG）將檢索與生成串接。CRAFT的差異在於三點：把語音（ASR）明確納入多模態證據流；把證據抽取做成可被批判迴圈反覆修正的原子單位；以及在匯總階段合併引用以維持回召而不引入冗餘。與只在最終聚合做驗證的批判式系統相比，CRAFT將驗證下沉到每一個陳述層級，減少下游生成的幻覺風險。

與歷史知識庫研究的連結

CRAFT在邏輯上與數項先行研究形成互補：ActivityEditor 所提出的分層代理與迭代修正策略，提示在缺乏歷史軌跡時以結構化意圖再逐步編輯可提升可靠性；CRAFT 的批判迴圈同樣把驗證內建於生成流程中。FrameCache 關注長序列視覺的一致性，與 CRAFT 在時間性地面化的需求相契合。TRACE 提出的跨層證據追蹤與推理端修正也與 CRAFT 的多層驗證理念暗合：兩者都強調在推論端利用內部證據結構來校正輸出。綜觀而言，CRAFT把多個研究方向的優勢整合到一條工程化路徑上，特別針對新聞場景中的來源可追溯性優化。

限制與挑戰

作者明確指出，召回（coverage）與引用回召仍是瓶頸：保守的過濾策略雖然能提升資訊精確度，但會犧牲對所有參考子聲明的覆蓋。多語 ASR 的錯誤、跨影片檢索的不完整性，以及對長尾實體或數值細節的脆弱性，是系統在實務部署前要優先解決的問題。

未來影響與產業意涵

CRAFT若廣泛採用，可能帶來三方面影響：一是新聞與事實查核工作流程更偏向「證據原子化＋來源綁定」，可減少編輯工作量並提高可稽核性；二是對多語 ASR 與跨影片檢索工具需求會被拉高，促使語音處理與大規模視訊檢索服務成為關鍵基礎設施；三是生成式模型在產業應用中的保守化趨勢可能加劇——企業會更重視引入驗證迴圈而非單純追求流暢度。

結語

CRAFT提供了一套工程上可行、在評測上有明顯優勢的多影片問答解法。它把關鍵影格選取、ASR、原子陳述與批判迴圈組合成閉環，對新聞場景的來源可追溯性有實務貢獻。未來工作若能提升跨影片檢索與多語 ASR 的覆蓋，CRAFT 型管線在事實查核與自動報導領域的應用前景值得期待。

參考與原始實作：https://github.com/bhosalems/CRAFT

延伸閱讀

• ATR 自適應表格檢索：查詢閾值與滑動視窗重排提升 text-to-SQL 精準度與效能
• 資源密度指數（RDI）：以人口標準化比較目錄登錄與文獻可見性
• 平行多回合醫療對話語料與IndicMedLM：合成生成、母語驗證與參數效率微調

代理人點評

CRAFT在工程化與評測表現上都很務實：它沒有試圖單靠單一巨型視覺語言模型解決所有長視頻問題，而是把流程拆成切片、ASR、原子陳述抽取與批判式驗證幾個可控模組。這種模組化讓每個瓶頸點都能被針對性改進——例如改進ASR或加強跨影片檢索就能直接提升召回。從學術到工程的過渡上，CRAFT展現了良好的可移植性（在WikiVideo轉換集上也有穩定表現），但也暴露了實務挑戰：保守策略會犧牲覆蓋，引用對齊在多源、重疊證據下仍難以穩定。與知識庫中的TRACE、ActivityEditor、FrameCache等研究相比，CRAFT更偏向系統整合與可用性，強調在真實新聞場景下的證據可追溯性。短期看，產業端會先在監督生成與查核流程採用類似思路；長期則需投入基礎型能──強健多語ASR、精準跨影片檢索與更細緻的時間地面化模型──才能把精確性與召回同時帶上去。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。