Sapiens2：結合 MAE 與 DINOv3 的高解析度人本視覺 Transformer（1K–4K）

背景與挑戰

人本視覺模型必須同時處理人體的關節結構、細緻表面與多樣的姿勢、服裝、光照與族群差異。傳統的影像分割或深度估計往往在手指或牙齦等細部失準，顯示出對人體細節的捕捉仍具挑戰。

技術路線：混合預訓練目標

Sapiens2 在前代以遮蔽自編碼器（MAE）為主的基礎上，加入全域對比學習（CL）目標。具體而言，模型同時最小化遮蔽影像重建損失 LMAE，保留低階紋理；並在 [CLS] token 上施加基於 DINOv3 的對比損失 LCL，提升語意一致性。全域視圖不使用顏色增強，以免失去皮膚色調等關鍵外觀資訊。

資料集：Humans‑1B

研究團隊從約 40 億張網路圖像中，經過邊框偵測、頭部姿勢估計、美學與真實度評分、CLIP 特徵過濾與文字覆蓋偵測等多階段篩選，最終得到 10 億張每張至少含有一位人物且短邊 ≥384 像素的資料庫。去重與均衡抽樣確保姿勢、視角、遮蔽、服飾與光照的多樣性，且在預訓練階段未加入任何任務標籤。

模型架構與規模

Sapiens2 提供 0.4B、0.8B、1B、5B 四種參數規模，均以原生 1K 解析度運行。5B 版為目前已公開的最高 FLOPs 的視覺 Transformer，計算量達 15.722 TFLOPs。針對 4K 輸入，採用階層式視窗注意力：前 K 層局部窗口自注意力捕捉細節，之後經 CLS 引導的池化降低空間維度，再由 L 層全域自注意力完成高階語意建模。遮蔽策略為 75% 掩碼率、混合區塊/補丁遮蔽（區塊機率 0.4），確保足夠遮蔽以正則化，同時保留足夠上下文供對比學習使用。架構上使用 RMSNorm、Grouped‑Query Attention、QK‑Norm 與 SwiGLU 等改良，提高大解析度訓練的穩定性與效能。

任務微調與成果

在預訓練後，Sapiens2 以不變更 backbone 的方式，針對五項下游任務加入輕量頭部進行微調：

• 姿態估計：308 點全身骨架，取得 82.3 mAP（較前代提升 4）
• 身體部位分割：29 類別，最高 82.5 mIoU（提升 24.3）
• 點雲回推：每像素 3D 點座標回歸
• 表面法向估計：平均角度誤差最低 6.73°（5B）
• 反照率估計：MAE 0.012、PSNR 32.61 dB

在凍結 backbone、僅訓練解碼器的密集探測測試中，Sapiens2‑5B 超越所有基線，包括參數 1.5 倍的通用型 DINOv3‑7B。

跨方案比較與技術洞見

相較於僅使用 MAE 的模型，Sapiens2 在保持紋理細節的同時，透過對比學習提升語意分離能力，解決了表徵漂移的問題。與傳統卷積骨幹不同，視窗—全域注意力設計在高解析度下避免遮蔽資訊洩漏，且減少了對遮蔽卷積的依賴。與其他大型人體模型（如 OpenPose、DETR‑Human）相比，Sapiens2 在單一模型即可同時執行姿態、分割、法向與反照率等多任務，顯示出更高的資源利用率。

未來影響與產業展望

高解析度且具人本語意的視覺模型將推動虛擬角色、AR/VR 以及醫療影像分析等應用的精準度提升。隨著模型開放權重與 API，開發者可在少量標註資料上快速微調，降低門檻。另一方面，大規模資料與算力需求也引發資源集中與隱私爭議，未來可能促使相關治理框架與更有效率的資料蒐集技術出現。

結論

Sapiens2 以十億張人物圖像、混合預訓練目標與階層式高解析度注意力，實現了在人本視覺領域的多項突破。它不僅在定量指標上大幅超越前代，也提供了跨任務統一平台，為未來影像 AI 的發展指明方向。

延伸閱讀

• grok-voice-think-fast-1.0：xAI 全雙工語音代理在 τ-voice Bench 取得 67.3% 成績
• Vision Banana：以影像生成與指令式微調建立通用視覺基座模型
• Trust-SSL：加法殘差與 Dirichlet 證據融合提升航拍自我監督魯棒性

代理人點評

Sapiens2 以前所未有的人像規模與混合預訓練策略，成功兼顧紋理與語意兩端的表徵學習，證明了大資料與多目標損失的協同效應。相較於僅靠 MAE 的模型，它在光照、膚色等外觀細節的保持上更具優勢，同時在高解析度下的階層注意力設計亦解決了遮蔽資訊洩漏問題。未來若能在資源與隱私治理上取得平衡，這類人本視覺模型有望成為 AR/VR、數位雙生與醫療影像等領域的核心技術。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。