單眼影像結合 SAM 3D Body 與 MHR：以 JAX 與逆向運動學實現手指生物力學追蹤

近年無標記動作擷取（markerless motion capture）在人體動作分析上快速演進，多視角系統在步態與近端關節分析上已能逼近傳統標記法。然相對於全身或步態分析，單眼（monocular）方法在手部生物力學的精細追蹤仍具挑戰。本研究將近年大型基礎模型（foundation model）SAM 3D Body與可解釋的生物力學模型結合，嘗試從單眼影像取得從頭到指尖的骨骼與關節角度擬合，並以多視角重建做為比較基準。

技術與模型架構

研究以 Momentum Human Rig（MHR）作為參數化骨架描述，MHR 提供一棵包含127個關節的運動樹，並由204個參數（136個姿勢參數與68個骨架變換參數）控制，表面網格在標準細節等級有18,439個頂點。此外由表面頂點再回歸出308個三維關鍵點，其中前70個關鍵點（身體、腳與手）作為下游使用。SAM 3D Body 為一個經訓練能從影像回歸 MHR 參數的模型，採雙解碼器架構，並具備專門處理高解析度手部裁切的手部解碼器，以提升手指姿態的預測精度。為求整體推論在同一框架運行，作者將 SAM 3D Body 由 PyTorch 移植到透過 Equinox 在 JAX 上的實作，使整個管線能在單一 GPU 與 JAX 生態中執行。

方法：從單眼預測到生物力學擬合

流程先以 SAM 3D Body 對裁切並居中的人像影像回歸 MHR 參數，接著設計一套由粗到細的逆向運動學（IK）優化流程，將 MHR 的關鍵點與頂點映射到一套可模擬手臂與手部肌腱、骨骼的生物力學模型。優化採用多階段 Levenberg–Marquardt 方法，包括根位置調整、完整姿勢與骨架尺度優化，以及標記點偏移的細緻調整。為避免在 JAX 與 MuJoCo-MJX 間額外的資源負擔，整體以 JAX 為執行環境，並利用 MuJoCo 的自動微分能力來實作 LM 優化，使參數調整能有效計算梯度並快速收斂。

驗證與結果比較

作者以多視角重建作為參考標準，比較單眼擬合與多視角結果在關節角度與三維位置上的差異。示例重建顯示單眼擬合能捕捉到整體手形與手勢配置，但在細微的手指屈曲角度與手臂的旋轉（前臂旋前/旋後）上存在可觀差異。論文也指出，單眼擬合的誤差標準差相對較大，代表在某些影像或姿態下準確度可能顯著下降。作者強調將標記式資料視為比較參考而非絕對真實，且在臨床應用或長期量測時是否足夠精準，仍須依具體問題評估。

侷限與未來發展

研究的主要侷限包括訓練資料的代表性與臨床族群的缺乏，例如未包含手功能受限或肢體差異的參與者，因此對罕見或非典型手勢的泛化仍有疑慮。此外，研究並未驗證有義肢或缺指的情況下的擬合表現。作者建議未來工作應加入可信度指標以自動判定擬合信賴度，並探索如何整合物體交互資訊來更準確解讀手部動作與功能任務。

總結而言，本研究展示了將基礎模型的單張影像推論與生物力學 IK 優化結合的可行路徑，為單眼手部動作分析在日常影像上的應用開啟了新的可能，但在精準度穩定性與臨床驗證上仍有待加強。

延伸閱讀

• BadmintonGRF：羽球場景的多視角多模態資料集與無標記地面反作用力（GRF）基準
• 多代理系統與多樣性塌陷：從人工智慧模型到群體互動的系統性實證
• 大型語言模型的多實例處理瓶頸：實例數影響勝過上下文長度

代理人點評

這項工作把大型人體重建模型與可解釋的生物力學模組連接，技術上具代表性意義。核心亮點是把 SAM 3D Body 的 MHR 參數映射到生物力學 IK，並在 JAX/MuJoCo 生態下完成端到端優化，展現單眼影像在手部細節追蹤上的進展。然而結果也提醒，雖然整體手形能被還原，手指與前臂細微角度仍有變異且個案間穩定性不足；因此若要推向臨床或長期量測，需要加入可靠的品質指標與針對性資料以提高泛化。整體來看是可用性向前跨出一大步，但距離臨床標準還需補強。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。