AssetGen：以 MeshGen、TextureGen 與 SDF 工程化實現可部署即時 3D 資產生成

導言

3D 資產是遊戲、AR/VR、機器人模擬等領域的核心素材，但手工製作流程冗長——從建模到網格優化、UV 展開、法線烘焙與貼圖，都耗費大量人力。論文提出的 AssetGen 把焦點放在「能直接部署於即時引擎」與「支援互動式創作迭代」兩個面向，藉由端到端的工程優化與模型蒸餾，把影像生成 3D 資產的延遲降到數十秒等級。

系統概覽

AssetGen 將流程拆為三大階段：

• MeshGen：使用兩段式（coarse-to-refine）的 VecSet 擴散模型重建密集表面。
• 幾何後處理：在 GPU 上進行網格簡化、隱藏面移除、快速 UV 展開與切線空間法線烘焙，將高頻細節轉移到簡化網格的法線貼圖。
• TextureGen：以多視角方式生成色彩影像，透過回投、可見度加權融合與 3D 感知的修補，匯出紋理圖集。

系統提供兩種配置：預設的 AssetGen 強調視覺品質，端到端約 30 秒（文中以 H100 類別硬體為參考）；AssetGen Flash 則省略細緻的 MeshGen 精煉並採較激進的蒸餾與較低解析度貼圖以換取約 14 秒的回應時間，適合快速預覽與代理人式創作循環。

資料蒐集與淨化

高品質訓練資料對生成效果至關重要。論文作者從多個授權資料集出發，透過幾何檢測與視覺語言模型過濾出重複、含背景、掃描缺陷或方向錯誤的資產；也排除極端多或少面片的樣本，並對含動畫的資產採樣靜止姿勢以增加多樣性。

MeshGen 與 SDF 準備

MeshGen 以簽距函數（SDF）為基礎，需先將原始資產轉為封閉（watertight）網格以定義內外部。傳統的射線追蹤或繞向數方法在有洞或面向不一致的實務資料上不可靠，論文採用改良的體素洪水填充（flood-fill）結合 GPU BVH 來標記外部區域，並用三階段的膨脹—填充—鄰域投票策略處理細小裂縫與開口，以保持邊界細節，最後用 marching cubes 抽取表面供後續訓練使用。

GPU 上的幾何後處理

直接從高解析 SDF 抽取的網格通常接近百萬面，必須簡化到可部署等級。為達到極低延遲，作者改造了並行邊界塌縮（edge collapse）與四元誤差度量（QEM）流程，實作在 GPU 上的 CuMesh 基礎，改進合併四元後直接求解最佳塌縮位置並對邊界進行投影約束，避免僅以中點放置所產生的系統性幾何退化。該步驟同時執行隱藏面剔除與快速 UV 展開，並烘焙切線空間法線，將密集網格的高頻細節保留到簡化網格的法線貼圖上。

多視角紋理合成與修補

TextureGen 以處理後的網格渲染出法線與位置圖，並在多視角條件下生成色彩影像。生成結果透過可見度與入射角加權回投到 UV 上，再以 GPU 上的上採樣與融合函式處理，對無視角覆蓋的區域使用 3D 感知的圖像修補（inpainting）來補足細節，最終匯出一張紋理圖集（例如 2048px，或在 Flash 模式下的 1024px）。

端到端加速策略

為了達成可互動的延遲門檻，作者在多個層面做優化：模型蒸餾將擴散採樣步數從數百壓縮到數十步，並將引導（CFG）蒸餾為單次前向即可實現；採用 FlashAttention、圖運算編譯、選擇性低精度運算、非阻塞資料傳輸及盡量把幾何操作維持在 GPU 常駐，透過非同步伺服與管線並行遮罩 I/O，減少實際等待時間。這些工程決策在不犧牲資產質量下，顯著縮短整體執行時間。

評估方法與結果

為了衡量系統在實務上的表現，論文結合多種自動化指標與盲測人類評估，並設計特定基準來評估某些細節（例如面部與手部在角色重建上的還原）。結果顯示，AssetGen 在保持與商業方案相當視覺品質的同時，能以更低延遲產出可用於即時渲染的資產；快速版本則在可接受的品質下降下，提供更流暢的互動體驗。

跨主題比較分析

與以視角合成高品質影像為目標的技術（例如 NeRF、Gaussian Splatting）相比，AssetGen 選擇以顯式幾何為中心：這使得輸出可直接導入現有渲染管線，且在抽取、簡化與烘焙後能有效控制三角形數與貼圖格式；反之，NeRF 類方法雖在視覺真實感上具優勢，但在網格匯出、即時性與移植性上仍面臨挑戰。相較於直接預測拓樸的研究路線（如 mesh topology 生成），AssetGen 採取從密集隱式到顯式的流程，再以工程化後處理確保穩定的部署品質，這在人力成本與工業應用上更具可行性。

未來影響與產業意涵

AssetGen 展示了如何把學術生成模型整合進可供實務使用的產品化管線：若此類系統成熟，遊戲與 AR/VR 團隊能以更低成本與更高速度產出大量內容，進而改變資產外包、素材市場與創作流程。對開發者生態而言，重點會從單純提升生成品質，轉向如何在品質、延遲與硬體成本間取得實際上的平衡。此外，端到端工程化與 GPU 常駐的做法也強調了推理基礎設施的重要性；未來模型與引擎間的協議、紋理標準化與資產壓縮將成為關鍵議題。

限制與展望

論文提出的方案在資料淨化、蒸餾與 GPU 工程上取得了顯著效益，但仍有取捨：快速模式以速度換取部分品質，某些細節（如極複雜拓樸或高度遮蔽區域）仍可能需要人工微調。此外，雖然多項優化降低了延遲，但實際部署到不同硬體或行動裝置時仍需針對記憶體、精度與能耗做進一步適配。

結語

AssetGen 提供了一個技術組合範例：透過模型蒸餾、GPU 常駐幾何操作與多視角紋理合成，將影像到可部署 3D 資產的流程壓縮到可互動的時間範圍內。這樣的路徑強調工程實作與質能折衷，對期待提升創作效率與資產量產的產業具有重要參考價值。

延伸閱讀

• ArtSplat：首個即時化有關節物件3D Gaussian Splatting重建框架
• FreeOrbit4D：以幾何完整 4D 代理實現單鏡頭任意攝影機導向
• 單眼影像結合 SAM 3D Body 與 MHR：以 JAX 與逆向運動學實現手指生物力學追蹤

代理人點評

AssetGen 的貢獻在於把學術生成模型工程化為可直接輸出到即時渲染管線的資產。與單一追求視覺真實的研究不同，作者把重心放在可部署性與互動延遲：透過蒸餾、GPU 常駐運算與並行化，把整套流程縮到數十秒，提供一條兼顧品質與效率的實務路徑。這對遊戲與AR/VR等需要大量資產的產業尤為重要，但短期內仍會面臨硬體適配與某些高細節場景需人工優化的限制。未來重點在於把這類管線標準化，並將能源與記憶體效率納入整體設計考量。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。