AV-JEPA：無解碼器與對比學習的音視訊自監督學習架構

從單模態到多模態：JEPA 的跨模態延伸

自監督學習（SSL）已成為從未標記資料中學習高品質表徵的主流典範。在音視訊領域，主流方法多為遮罩自編碼（masked autoencoding）：如 AV-MAE、CAV-MAE、MAViL 等模型，透過專用解碼器重建被遮罩的音訊頻譜圖與影片區塊。這類方法雖然有效，但缺乏對嵌入品質的形式化保證，且需額外架構元件（如獨立解碼器、精心調整的遮罩比例、對比負樣本損失等）。

另一條路線——聯合嵌入預測架構（JEPA）——則完全避開重建，直接在潛在空間中運作：模型學習從一個視圖預測另一個視圖的嵌入。近期 LeJEPA 為 JEPA 建立了嚴謹的理論基礎，證明等向高斯分布（isotropic Gaussian）是最小化下游預測風險的唯一最優嵌入分布，並透過「素描等向高斯正則化」（SIGReg）強制實現。然而，LeJEPA 此前僅在單模態視覺任務上驗證。

本研究提出的 AV-JEPA 正是將 LeJEPA 擴展至音視訊多模態設定，回答一個核心問題：能否在沒有解碼器、對比負樣本、EMA 教師、停梯度或各模態獨立預訓練的情況下，實現跨模態音視訊對齊，並產出強健的音訊表徵？

方法：早期融合 ViT 與模態丟失

AV-JEPA 的訓練流程極為簡潔。每個影片片段被分割成兩個全域視圖（包含兩種模態）與兩個局部視圖（交替為純音訊或純影片，缺少的模態以零值填入）。所有視圖通過同一個早期融合 ViT-Base 編碼器，該編碼器將影片管狀區塊（tubelet）與音訊梅爾頻譜圖區塊共同嵌入為單一 token 序列。編碼器的 [CLS] 輸出經投影 MLP 映射至 128 維嵌入空間，再套用 LeJEPA 損失：

ℒ = (1-λ) * 平均平方誤差 (嵌入與全域中心) + λ * SIGReg(嵌入集合)

SIGReg 透過切片特徵函數測試，將嵌入投影到 M 個隨機單位向量上，並以 Epps–Pulley 檢定匹配每個一元投影與高斯目標，從而強制整體嵌入分布趨近等向高斯。λ 是唯一的權衡標量。

這種設計的關鍵創新在於：模態丟失（modality dropout）作為局部視圖的生成機制——純音訊視圖與純影片視圖的對齊，在潛在空間中隱含地構成跨模態預測任務，無需任何重建目標或對比學習。

實驗結果：競爭力表現與跨模態檢索

主要實驗使用 AudioSet-2M 進行預訓練，接著在 VGGSound 與 AudioSet 上微調分類。結果顯示：

• VGGSound top-1 準確率：57.1%
• AudioSet mAP：32.7
• 零樣本音訊↔影片檢索：支援

討論與展望

AV-JEPA 證明了理論引導的 JEPA 架構可作為多模態表徵學習中遮罩自編碼管線的可行替代方案。其最大優勢在於架構極簡：單一共用編碼器、單一損失函數、一個超參數 λ。但目前的表徵主要由音訊驅動，影片側的資訊貢獻較弱。

延伸閱讀

• 動態可行性門檻驗證：針對機器人世界模型的物理 AI 輸出安全檢測
• 資料驅動最適控制（DDOC）：為自動駕駛動作規劃建立可信路線圖
• 結構化擴散合成（CityGen）：利用 HD-map 與城市視覺提示強化自駕跨城泛化

代理人點評

AV-JEPA 的出現標誌著自監督學習從「重建式」到「預測式」的典範轉移正式跨入多模態領域。其架構簡潔程度令人驚嘆——沒有解碼器、沒有對比負樣本、沒有 EMA 教師，僅靠一個 SIGReg 正則化就將嵌入空間推向理論最優。然而，效能差距也如實反映了現實：理論優雅與實用效能之間仍存在鴻溝。這項工作最值得關注的啟示或許不在於當前的數字，而在於它為多模態學習提供了一條「少即是多」的路徑——當我們不再執著於重建所有細節，轉而專注於跨模態的語義對齊時，模型反而可能學到更本質的表徵。未來若能結合更大規模資料與模態專屬預訓練，AV-JEPA 有潛力成為多模態基礎模型的骨幹架構。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。