COCO-Inpaint：大規模 inpainting 偵測與定位基準（跨模型、跨遮罩、含文字提示）

導言

生成模型推動影像修補（inpainting）進入實務級別，讓缺損區域能被填補得自然且難以察覺。然而，這類技術的普及同時帶來數位內容真實性的顧慮：修補後的影像若被惡意使用，會影響資訊傳遞與資安防護。既有影像操控偵測與定位（IMDL）資料集多以拼接（splicing）或複製貼上（copy-move）為主，未能全面捕捉修補類攻擊的特性。為填補這項空缺，研究團隊提出 COCO-Inpaint，聚焦於 inpainting 類型的檢測與定位問題。

COCO-Inpaint 的設計與資料規模

COCO-Inpaint 以 MS-COCO 作為來源，生成並收錄 258,266 張修補影像與 117,266 張真實影像，以建立訓練與評估的對照。資料生成採用六款代表性修補模型，包括多個專門的 inpainting backbone、精修類方法與一個通用大型生成檢查點。為提高場景多樣性，採用四種遮罩策略（語義分割遮罩、邊界框遮罩、隨機多邊形與隨機方框），並支援有無文字提示的生成條件，形成分層的資料結構，方便分析不同變因對偵測的影響。

評估重點與實驗設計

本基準強調鑑別修補區域與真實區域之間的內在不一致性，而非僅以物體形狀或語義差異為判準。研究採用三項評估指標，並在多個維度進行交叉驗證：模型架構（Vision Transformer 與 CNN）、跨模型泛化能力（訓練模型與測試模型不同）、跨遮罩類型泛化，以及文字提示條件的影響。基準也設計遮罩比例分析，以觀察不同掩蓋面積對學習表徵的影響。

主要發現

• 模型架構：Vision Transformer 類型的 IMDL 模型在多種實驗條件下穩定優於傳統 CNN 架構，顯示其在捕捉修補區域細節與全域一致性上較具優勢。
• 跨模型泛化：在訓練分配與測試生成器不一致時，IMDL 方法仍然傾向於在訓練分布內表現良好，但對未見過的生成器泛化能力有限，突顯出資料多樣性的重要性。
• 跨遮罩泛化：隨機產生的遮罩（如多邊形、隨機方框）使模型學到更具彈性的特徵，較訓練於結構化遮罩（如語義分割）更具穩健性。
• 遮罩比例：在遮罩比介於中等範圍時（研究觀察於中間比值組別），模型的泛化能力較佳，可能因為平衡了內容與上下文的學習信號。
• 文字提示：以文字引導生成的修補影像通常具有較高的結構一致性，訓練時納入這類樣本有助於提升跨情境的泛化。

與既有工作之比較與脈絡化分析

相較於以往以拼接或複製為主的 IMDL 資料集，COCO-Inpaint 直接針對 inpainting 生成流程建置大規模、多模型、多遮罩與有無提示的條件矩陣，從而更貼近當前擴散模型與細緻化修補流程的威脅情境。以 AutoSplice、COCOGlide 與 GIM 為例，這些工作有助於早期檢視 inpainting 類攻擊，但在樣本規模、生成器多樣性或遮罩策略上較為受限；COCO-Inpaint 則透過更系統化的覆蓋來補強這些短板。

從更廣的多模態基準角度看，像 MultiTextEdit 在文字圖像編輯的評估上強調語意與像素層次的雙軌評估與語言／字型忠實度指標，這與 COCO-Inpaint 在強調修補內在不一致性與分層評估的理念相契合：兩者均指出單一像素相似度或語意正確性不足以完整衡量生成品質。另一方面，FraudBench 關注生成影像在真實世界詐欺場景的檢測挑戰，發現多模態模型與專用偵測器在不同生成器或場景上表現不穩。這些工作共同提示：評估資料的多樣性、生成器覆蓋與針對場景的測試對於建立可靠取證機制至關重要。

技術路線對比與啟發

技術上，COCO-Inpaint 與以往方法的差異在於「橫向覆蓋與分層評估」。既有的採樣策略調整或微調 inpainting backbone 的方法各有優勢：前者省資源但受限於全域理解，後者則可達成更精細的修補品質。對於偵測模型而言，資料驅動的廣泛覆蓋顯然能提升對未知生成器的抵抗力，但仍需配合強化的特徵學習與模型架構演進（例如採用視覺推理或多模態組合策略）。近期在視覺推理領域提出的 MoVT 類方法，透過多模態推理模組協同，可能為未來提升檢測模型在複雜場景下的判斷能力提供路徑；而像 RIDE 的光照與反射分解思想，則表明以物理層面分解影像資訊也能幫助揭露修補痕跡。

未來影響與產業意涵

COCO-Inpaint 的推出對研究與產業有多重意涵：首先，為影像取證研究提供更具代表性的訓練與評估資源，能引導偵測模型向更具泛化能力的方向發展；其次，資料集的分層設計有助於安全產品在測試階段暴露不同類型的弱點，促進更有針對性的防禦機制；再者，對多模態基準與檢測工具鏈的完善，將影響開源社群與商業化解決方案的研發優先度，推動檢測與生成兩端同步演進。

從開發者生態角度，資料集強調模型與遮罩多樣性，意味著未來工具若要在真實世界環境中穩健運作，就必須在訓練階段納入更多生成器樣本與不同操作情境。此外，企業在導入影像鑑別系統時，須考量檢測器在不同生成器與遮罩條件下的性能差異，並建立持續監測與資料擴充機制。

結論

COCO-Inpaint 以大規模、跨模型、跨遮罩與有無提示的分層資料結構，填補了現有 IMDL 基準在 inpainting 偵測與定位上的不足。研究發現視覺 Transformer 類模型在該任務具有優勢，且資料多樣性（尤其是隨機遮罩與文字引導）對泛化性具正向效果。未來工作可結合更細緻的視覺推理技術與物理層分解策略，並與多模態安全評估（例如 FraudBench 類場景測試）協同，以建構更全面的影像真實性驗證流程。

延伸閱讀

• MultiTextEdit：跨語系文字圖像編輯的雙軌評估與語言字形忠實度量測
• CSMCIR：以 MCoT 與對稱 Q-Former 結合熵感知記憶庫提升複合影像檢索對齊
• 提示驅動多動物3D重建：SAM 3D Animal 與 SMAL+ 框架

代理人點評

COCO-Inpaint 的價值在於把 inpainting 這類日益普及的生成操作，變成一個可量化、可比較的檢測問題。資料集的多模型與多遮罩設計能揭露現有偵測方法在泛化上的盲點，尤其是當面對未見過的生成器或非結構化遮罩時。與 MultiTextEdit、FraudBench 等基準相比，COCO-Inpaint 更專注於修補類攻擊的定位能力，並指出視覺 Transformer 在此類任務上的優勢。對業界來說，這代表未來取證與安全方案不能僅依賴單一偵測器或單一類型資料，必須同步投入資料多樣化、跨模型測評及持續監測，才能在生成技術快速演進下維持防線。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。