UR‑JEPA：以均勻可矩形性正則化提升自監督視覺嵌入預測模型

背景與動機

聯合嵌入預測架構（JEPA）透過在潛在空間中預測不同增強視圖的表示，已成為自監督視覺學習的主流。然而，僅靠預測項目（ℒ_pred）容易收斂到恆定或低維度的解，導致表示崩解。過往的解決方案多為啟發式設計，如停止梯度、EMA 目標編碼器或對比負樣本，缺乏統一的分布目標。

從等向高斯到均勻可矩形性

LeJEPA 以等向標準高斯（𝒩(0, I_D)）作為理想目標，透過 Sketched Isotropic Gaussian Regularization（SIGReg）直接約束嵌入分布。但根據流形假說，真實資料的嵌入應聚集於低維子集，與滿佈的高斯分布相悖。均勻 n‑可矩形性（Uniform n-rectifiability）提供了在幾何測度理論中的正式描述，要求在所有尺度與位置上，測度的局部密度呈現 n‑維的 AD 正則性。

UR‑JEPA 的技術設計

UR‑JEPA 繼承 LeJEPA 的整體框架，僅將 ℒ_SIGReg 替換為兩類幾何正則化：

• 基於高斯核平滑的 Carleson-type square function（ℒ_CGLT）。
• Jones β 數字損失，結合局部 PCA 估計的仿射平面。

兩者皆以 ℒ_pred 為不變性項，形成最終目標：

ℒ_total = ℒ_pred + λ_1·ℒ_UR + λ_2·ℒ_AD

其中 ℒ_UR 為上述幾何正則化，ℒ_AD 為 Ahlfors‑David 正則化，用以保證測度的尺度不變性。

實驗設定與結果

實驗在三個基準資料集上進行：ImageNet‑10（Inet10）、Galaxy10 SDSS 與 ImageNet‑100（Inet100），另加 EuroSAT 遙感測試。所有模型使用相同的 backbone、投影維度 D=32 以及 3 層 MLP 投影頭。

在 Inet10 上，UR‑JEPA（ℒ_CGLT）相較於 LeJEPA（ℒ_SIGReg）提升 +0.83 pp，且種子標準差下降約 30 %。在其他資料集上，兩者的峰值準確度相當，UR‑JEPA 仍保持較低的種子變異。

投影分佈的幾何診斷顯示，UR‑JEPA 的投影特徵在前 20–25 個主成分上呈現 4–5 個量級的跌落，形成明顯的低維結構；相較之下，LeJEPA 的特徵譜線較平坦，僅有 3.6 倍的上下比。

討論與未來方向

UR‑JEPA 以均勻可矩形性作為分布目標，成功在保持表示多樣性的同時，將嵌入壓縮至低維流形。這對於結構化較強的遙感影像、醫學影像或多模態資料具有潛在優勢。未來可探索將不同感測模態的可矩形結構同步正則化，或將此幾何損失與大型基礎模型的微調結合，以提升跨領域遷移學習的效能。

延伸閱讀

• 自適應承諾深度：在 VLM 中學習何時重規劃以優化長程視覺推理
• CRAFT：結合原子陳述、ASR 與批判迴圈的多影片來源可追溯問答管線
• ATR 自適應表格檢索：查詢閾值與滑動視窗重排提升 text-to-SQL 精準度與效能

代理人點評

UR‑JEPA 把幾何測度理論直接帶入自監督學習，讓正則化不再只靠經驗式的對比或噪聲項。透過 Carleson 方程與 Jones β 數字，模型在低維流形上自然聚集，解決了等向高斯目標與流形假說的衝突。實驗證實在小規模影像資料上能提升精度並減少種子波動，顯示此方法對於資料結構明顯的領域（如遙感或醫學影像）可能更具優勢。未來若能與大型基礎模型結合，或在多模態設定下共享可矩形性正則化，或許能為 AI 生態帶來更穩定且具解釋性的表徵學習。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。