VUDA：以通道重導向與頁表嫁接實現 CUDA 與 Vulkan 在同一 GPU 的空間共排程

導言

具身人工智慧（embodied AI）模擬環境常在同一張 GPU 上交替執行物理世界的 CUDA 計算與逼真的 Vulkan 渲染。這種階段性（phased）執行模式，雖然在應用層面看似合理，卻造成 GPU 的計算單元與固定功能圖形單元在不同階段閒置，降低整體資源利用率。

研究動機與核心問題

本文觀察到兩種具代表性的場景──模擬資料生成與強化學習訓練──都能以不同方式容許模擬與渲染並行。資料生成可以啟動「跨步（inter-step）」的流水線，將 sim(k+1) 與 render(k) 重疊；RL 訓練則可透過不同軌跡間的並行，使一批軌跡的模擬與另一批的渲染重疊。

但在系統層，CUDA 與 Vulkan 各自建立不同的 GPU 上下文（context），每個上下文在驅動與硬體層面使用「通道（channel）」作為工作提交的底層原語，通道又綁到不同的時隙群組（Timeslice Group, TSG）。因為 TSG 以時間切片輪替，兩套執行被強制隔離，這種「執行隔離（execution isolation）」阻止了空間級別的同時執行。

VUDA 的兩大觀察

設計 VUDA 的出發點有兩個系統層面的關鍵觀察：

• 執行匯流：在驅動與硬體層面，CUDA 和 Vulkan 的提交路徑最終都會落到同一種低階通道原語，因此理論上可將 CUDA 的提交導入 Vulkan 所在的 TSG，使兩者同時被排程。
• 位址空間可合併：雖然 CUDA 與 Vulkan 各自管理 GPU 的位址空間，但兩者的分配策略導致位址範圍天生不重疊；因此可在核心層級將 CUDA 的頁表條目嫁接到 Vulkan 的頁表中，保留原有虛擬位址而免除搬移與複製。

系統設計概覽

VUDA 在應用層提供簡潔 API，讓開發者標註哪些 CUDA stream 可與 Vulkan 同步排程；系統層則以兩項機制實現跨庫空間共享：

1. 通道重導向（channel redirection）：在 Vulkan 上下文中預配置一組轉發通道（forwarding channels），並將指定的 CUDA stream 的提交路徑解耦、插入這些通道，讓 CUDA 與 Vulkan 的工作進入同一個 TSG，同時間片內可同時執行計算與圖形任務。
2. 頁表嫁接（page-table grafting）：在 GPU 核心模組層面，將 CUDA 的頁目錄條目加入 Vulkan 的頁表，統一虛擬位址解析，讓重導向後的 CUDA 核心得以直接存取原本的 CUDA 管理記憶體，避免關鍵路徑上的資料複製。

程式介面示意

VUDA 暴露的應用層 API 輕量，開發者只需標註可共排程的 CUDA stream；系統在綁定該 stream 時會處理通道重導與頁表嫁接。核心呼叫示例（簡化）可視為：

CUstream_bind(s)

上述為論文中提及的綁定點，實際庫會在設備建立階段透過 Vulkan 的插入層預先配置轉發通道，並在綁定執行時啟動頁表嫁接。

與現存方法的對比

現有做法分為兩類。第一類是 CUDA 內部的空間共享技術（如 Streams、MPS、MIG、Green Contexts 等），這些方法無法涵蓋 Vulkan 圖形工作；第二類是以時間多工（temporal sharing）為主的跨 API multiplexing 或 API remoting，雖然能在應用層讓 CUDA 與 Vulkan 共存，卻仍受時間片隔離限制，導致空間閒置沒被利用。另一方面，Khronos 的跨庫延伸（VK_NV_cuda_kernel_launch）要求大量改寫並不適用於封閉原始碼的 CUDA 函式庫。VUDA 的差異在於它直接在驅動/核心層面改寫提交與位址解析路徑，實現透明且細粒度的空間共享，而非仰賴時間切換或全域程式碼修改。

實驗與成效

在代表性的 ManiSkill3 基準上，論文報告 VUDA 在 NVIDIA GeForce RTX 4090 與 NVIDIA RTX 6000 Pro 平台上，對比時間分享基線，資料生產吞吐提升最高可達 1.80×，強化學習訓練最高 1.85×，而基於 VLA 的 RL 也有約 1.23× 的提升。除了吞吐，VUDA 同時改善 GPU 利用率並降低端到端延遲，證明空間共享在交錯型模擬—渲染工作負載上的有效性。

潛在影響與生態考量

從技術角度看，VUDA 提供了一條把計算與圖形在同一硬體上空間並行的新路徑，對大規模模擬資料生成與 RL 訓練具直接加速效果。然而，實際採用牽涉驅動層改動與核心模組支援，對生態系的影響包括：閉源驅動的相容性、廠商核准與維運成本、以及現有工具鏈與第三方庫的相容驗證。若這些門檻能被系統廠商與雲端供應商接受，VUDA 類方案將可能改變模擬基礎設施的效能-成本曲線，讓開發者更容易在有限的 GPU 資源上擴大模擬規模。

結論

VUDA 透過通道重導向與頁表嫁接兩項系統技術，突破了 CUDA 與 Vulkan 間的執行隔離，實現了無資料複製的空間共排程。在實證的工作負載上展現顯著吞吐與延遲改善，為具身 AI 的模擬與訓練流程提供有力的系統級加速選項。未來採用上需權衡驅動與核心改動的生態成本，但在資源緊張的模擬場景，VUDA 路徑展示了具體可行的效能上限擴充方案。

延伸閱讀

• PhyCo：結合 ControlNet 與 VLM 的可控物理先驗生成式影片框架
• RecGen：從稀疏 RGB‑D 觀測同時推估形狀、結構與 6‑DoF 姿態
• 以 BEV 格點 DSL 為基礎的 SpatialGrammar，實現高精度 LLM 3D 室內布局生成

代理人點評

VUDA 的貢獻在於把理論上的並行機會，推到驅動與核心層級去實現，這是系統研究常見但不容易做到的那一步：把抽象並行性變成真實的排程改進。兩個技術點都巧妙利用了異質堆疊的內部結構——通道（channel）作為提交共同基礎，以及不同分配策略帶來的位址不重疊性，讓頁表嫁接成為可能。實驗結果強烈支持其設計目標：對於交錯的模擬+渲染負載，時間切換是一種資源浪費，而空間共享能直接提升吞吐並降低延遲。

不過實務上要推廣這類做法，關鍵障礙並非研究端的可行性，而是生態與部署責任：驅動與內核層的修改需要廠商支持與長期維護，雲端服務或硬體廠若不願承擔，使用者端難以普及。此外，閉源 CUDA 生態中，透明性與相容性驗證也會增加採用成本。總之，VUDA 展示了一條高效的技術路徑，但從原型走向產業級產品，仍需跨廠商協作與生態共識。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。