ArtSplat:首個即時化有關節物件3D Gaussian Splatting重建框架
稀疏視角下有關節物件重建需同時推斷幾何與關節結構。ArtSplat提出首個feed‑forward3DGaussianSplatting方法,採用每像素關節地圖與跨狀態注意力整合多個姿態影像,單次前向回推幾何與關節參數;在PartNet-Mobility上展現競爭性表現且速度超過四百倍。
ArtSplat:即時化的有關節物件3D Gaussian Splatting重建
稀疏視角下的有關節物件重建需同時推斷幾何與關節結構,屬於病態問題。以往基於NeRF或3D Gaussian Splatting的方法常依賴密集視角或強先驗,並需昂貴的逐物件優化。
ArtSplat提出首個feed-forward的3D Gaussian Splatting流程,能在單次前向傳遞同時重建幾何並估計關節參數。其核心技術包括每像素關節地圖表示,將關節參數估計直接整合入像素級表示;以及帶有state tokens的跨狀態注意力(Cross-State Attention, CSA),用以捕捉不同姿態狀態間的離散運動。
作者在PartNet-Mobility的68件有關節物件(含單關節與多關節)上進行實驗,結果顯示ArtSplat在幾何與關節估計上具有競爭力,且在效率上相較現有基線大幅提速,能顯著降低逐物件優化的計算成本,為稀疏視角下的即時化有關節重建提供新的可行路徑。
延伸閱讀
- FreeOrbit4D:以幾何完整 4D 代理實現單鏡頭任意攝影機導向
- 單眼影像結合 SAM 3D Body 與 MHR:以 JAX 與逆向運動學實現手指生物力學追蹤
- BadmintonGRF:羽球場景的多視角多模態資料集與無標記地面反作用力(GRF)基準
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。