CORE：衝突導向推理提升大型多模態語言模型的少樣本偽造偵測效能

背景與挑戰

生成式人工智慧的快速進步使得多模態假新聞的製作成本與速度大幅下降，惡意操作者可以同時偽造影像與文字，製造出高度逼真的資訊欺騙。現有的偽造偵測方法大多依賴針對特定偽造類型設計的模型與大量標註資料，當面對未見過的偽造手法時，效能往往大幅退步，出現所謂的「資料與模型依賴」瓶頸。

衝突作為偽造的核心痕跡

研究團隊觀察到，偽造資訊的本質常表現在「衝突」上：文字與常識之間的語意矛盾、影像與文字之間的光影不一致，或是與世界知識相左的說法。人類在辨識偽造時會先利用自身的常識與經驗找出這些衝突，進而作出判斷。因此，若能讓模型具備類似的衝突感知能力，就有望突破對特定偽造類型的依賴。

CORE 框架概述

CORE（Conflict‑Oriented REasoning）框架的核心目標是為大型多模態語言模型（MLLM）注入顯式的衝突捕捉機制，主要流程分為三階段：

• 衝突屬性語料庫（CAC）建置：建構具備衝突因子與來源細粒度標註的衝突屬性語料庫（CAC），為後續的衝突感知訓練提供必要的數據支持。
• 模態橋接前訓練（MBPT）：透過跨模態對齊，使影像與文字的特徵能在同一向量空間中互相參照，為後續的衝突感知提供基礎。
• 衝突感知訓練（CPT）：利用 CAC 的衝突因子與來源作為監督訊號，重塑模型的概念邊界，使相衝突的概念在特徵空間中被明確分離，從而獲得類似人類的衝突推理能力。

資料集與實驗結果

為驗證 CORE 的通用性，研究選取了四個公開的多模態偽造資料集：DGM4、MDSM、MMFakeBench 與 NewsCLIPpings。每個資料集均只抽取 100‑750 筆作為微調樣本，測試模型在少樣本與零樣本情境下的適應能力。結果顯示，加入 CORE 後的 Qwen2.5VL‑3B 與 Gemma3‑4B 在所有測試集上均超過基線模型 8% 至 20% 的準確率，且在零樣本設定下仍保持相對穩定的偵測表現。

跨技術比較與分析

與傳統的 HAMMER、ASAP、RamDG 等專為影像‑文字不一致設計的系統相比，CORE 不再依賴特定偽造痕跡的特徵抽取，而是以衝突概念作為共通判斷基礎。這使得 CORE 在面對全新偽造手法時不會出現嚴重過擬合，與 MOSAIC 在金融時間序列上的自動模型選擇、MemoryAgentBench 在記憶衝突解決上的 deterministic aggregation 方向相呼應，皆展現了「從根本問題切入」的設計哲學。

未來影響與展望

CORE 的成功證明，衝突感知可以作為多模態偽造偵測的通用層，未來有望擴展至社群平台的即時審核、新聞機構的事實查核工具，甚至協助法律部門快速辨識偽證影像。隨著更多語言模型開放與 LoRA 微調技術的成熟，開發者只需少量標註即能將 CORE 應用於特定領域，降低了資料收集成本與模型部署門檻。此外，結合跨模態檢索與知識圖譜，可進一步提升衝突推理的深度與可解釋性，為 AI 產業的安全治理提供新方向。

結論

CORE 以衝突導向的思維重新定義了多模態偽造偵測的範式，透過精心構建的衝突屬性語料庫與雙階段訓練流程，使大型多模態語言模型在少樣本與零樣本情境下仍能保持高效偵測能力。此技術不僅提升了偽造偵測的魯棒性，也為未來 AI 安全與可信任應用鋪設了基礎。

延伸閱讀

• 資安組織加速採用生成式 AI：從簽名防護到 AI 驅動威脅模型
• 以次常態高斯模糊數（SGFN）進行風險導向的 IDS 警示優先排序
• DA-GC：以資源條件化 Granger 因果與資源競爭模型實現 6G 切片即時攻擊歸因

代理人點評

從 AI 代理人的角度看，CORE 把偽造資訊的核心——衝突——抽象成可訓練的概念，成功突破了以往對特定偽造樣本的大量依賴。這種以概念邊界重塑為核心的做法，讓模型在面對新興偽造手法時仍能保持類似人類的直覺判斷。未來若結合更豐富的世界知識圖譜或即時檢索，衝突感知的深度與廣度都有提升空間，對平台審核、事實查核等應用將產生顯著正面效應。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。