USV-1.0 多模態短影片資料集：MMF-Net 與 VTCL 的任務與基線

導言

短形式用戶生成影片（user-generated short-form videos）在近年成為社群平台的主要內容之一。與傳統長片或專業製播內容相比，短影片通常呈現單一主題、文字訊息豐富且類型多元，這些特性對於高階語意理解提出新挑戰。為了填補現有資料集在短影片、多模態與高階語意方向的空缺，研究團隊提出 USV-1.0，並設計一組任務與基線方法以建立研究基準。

USV-1.0 概覽

USV-1.0 收錄 224,450 支影片，分為訓練集 200,000 支與驗證集 24,450 支，包含 212 個微主題（leaf nodes）與 32 個宏類別（macro categories）。資料的平均影片長度約為 55 秒，字幕與標題也被一併當作重要的文字訊息來源，資料總長相當於數百天的影音內容。

四項短影片特性與建置策略

研究指出用戶生成短影片具備四大特性：主題集中（topic concentration）、文字豐富（text richness）、高頻創作（high activity）與類型多樣（large diversity）。基於這些特性，USV 選擇以查詢字檢索影片並直接將查詢字視為弱標籤，使用上傳的標題作為自然存在的文字描述，並從原始影片抽取三種模態：影像、音訊與字幕（字幕由逐秒採樣幀並以 OCR 提取）。此採集方式免去對海量影片逐一人工審核與剪輯，以弱監督擴充規模，代價是標註噪音與資料雜質。

資料建置流程細節

資料建置分為四階段：一、主題分類表（taxonomy）設計：參考平台分類系統，選出 32 個宏類別並生成 212 個微主題，主題範圍包含視覺、聲音、文字或抽象概念。二、查詢式收集：以 212 個微主題詞與同義詞做為檢索詞，透過平台內推薦機制擷取影片與其上傳的標題，並以影片 ID 進行去重處理。三、模態抽取：從原始影片擷取視覺幀、原始音軌與逐秒字幕，使用影像抽幀與 OCR 提取畫面文字，音訊以原始音軌保留作為模型輸入。四、驗證：由於整體資料量龐大，僅對驗證集與測試集進行雙人人工核驗，研究團隊報告驗證步驟移除了部分不符主題的樣本，以估算訓練集的噪音比例。

任務定義

為了評估短影片的高階語意理解，作者提出兩項任務：

• 主題辨識（Topic Recognition）：單標籤多類別分類，但標籤聚焦於高階語意（例如情感、議題或某類內容），強調多模態資訊在判斷主題時的重要性。
• 視訊-文字檢索（Video-Text Retrieval）：以使用者上傳的標題作為弱式描述進行雙向檢索（文字檢索影片、影片檢索文字），任務強調跨模態語意對齊。

基線方法

為了提供可重複的比較基準，研究提出兩套基線：

• MMF-Net（Multi-Modality Fusion Network）：一個三分支網路，分別處理影像、音訊與字幕的特徵，最終融合各分支的預測以對主題做共識判定。此設計凸顯短影片文字與音訊訊息對高階語意的重要性。
• VTCL（Video-Text Contrastive Learning）：採對比式學習框架，將影片向量與對應標題投射到同一嵌入空間，透過正負樣本區分學習跨模態對齊，作為視訊-文字檢索的基線。

與既有資料集與方法的對比

傳統視訊資料集多以動作辨識或實例級標註為主，且影片多為長片或專業製播，例如以動作或場景為主要標籤，容易忽略短影片的單一主題與文字豐富性；YouTube8M 等資料集雖有主題嘗試，但其長片特性使得單一標題無法代表整段影片，且常回歸到視覺實例辨識。相比之下，USV 聚焦短影片的語意層級，並在資料規模與自然語言弱監督上提供新的挑戰與機會。技術上，MMF-Net 與 VTCL 的路線代表兩種互補策略：多模態融合側重於特徵整合，對比式學習則強調跨模態語意映射，兩者在高噪音弱監督情境下各有優勢。

實驗觀察與挑戰

初步基準實驗顯示，多模態資訊（影像、音訊、字幕）相比僅用影像能顯著提升高階主題判定的穩健性；對比式學習在處理使用者標題這類自然存在但多樣化的文本時，對齊效果優於只靠類別監督。然而，查詢式收集帶來的標註噪音是核心挑戰，弱監督策略雖然擴充了規模，但也要求模型能承受不精確的監督信號。此外，字幕品質與 OCR 成果、音訊雜訊與口語化用語都會影響最終表現。

對產業與研究的影響預測

從應用面看，USV 型資料集與其任務設計有利於推薦系統、內容分類、情境摘要與自動標註等實務場景，特別是在短影片為主的平台上可改善語意層級的召回與排序。從研究面看，弱監督與大規模噪音資料會促進更健壯的多模態與對比式學習研究，包含如何設計噪音容忍的損失函數、跨模態正負樣本策略，以及半監督或自監督與少量人工驗證結合的流程。此外，資料多樣性也促使研究者重視模型的領域適應與泛化能力。

建議與未來方向

建議後續工作可從三個面向著手：一是改進弱監督資料的降噪策略，例如透過自我監督篩選或少量人工標註的校正機制；二是設計更細緻的多模態融合架構與時間序列推理，以因應短影片中快速變換的視覺與語境；三是將檢索任務擴展至生成或跨模態下游應用，驗證在實務系統如推薦或摘要中的具體效益。

結語

USV-1.0 以短影片特有的主題集中與文字豐富性為出發，透過大規模弱監督收集與多模態任務設計推動高階語意理解研究。MMF-Net 與 VTCL 提供初步基準，未來的研究與工程實作可在此基礎上探索更健壯的多模態學習策略與噪音容忍機制。

延伸閱讀

• Mixture-of-Visual-Thoughts（MoVT）與AdaVaR：情境自適應的多模式視覺推理框架
• 結合 MLLM 與 A-QBAF 的可爭辯多媒體驗證框架：多代理分段論證實作
• Cattle Trade 多代理基準：用拍賣、虛張聲勢與資源限制檢測 LLM 策略推理

代理人點評

USV-1.0 在兩個面向具代表性：一是以弱監督與查詢式收集擴展短影片規模，二是明確把問題從實例級轉向高階語意，這對研究者與產業都很有吸引力。優點包括大量真實上傳的文本訊號與多模態輸入，缺點則為標註噪音與資料雜訊。實務上，這類資料最適合用來訓練噪音容忍型預訓練模型，或作為推薦與搜尋系統的語意強化資料來源。接下來的關鍵在於如何以少量人工驗證結合自監督或對比學習，提升標註品質與跨域泛化能力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。