OpenURMA 與 Unified Bus（UB）：以片上控制器重塑 RDMA 的低延遲路徑

導言

近年 AI 訓練工作負載對小封包、低延遲通訊提出新要求：數千顆 GPU 間頻繁交換 64B 的梯度更新，讓過去以吞吐量為優先的網路實作顯露結構性瓶頸。作者指出，現代資料中心的 RDMA 延遲瓶頸其實在網卡（NIC）與 PCIe 往返，而非線材本身。

問題核心：周轉成本與狀態爆炸

傳統 RoCEv2 RC 與 InfiniBand 繼承的 Queue-Pair-over-PCIe 抽象，將應用身分與傳輸可靠性綁定為一個 Queue Pair（QP）。此一設計讓每個（本地應用、遠端端點）對都要維持一份 NIC 內部狀態，狀態量級會隨應用數 N 與遠端主機數 M 的乘積成長，導致在高扇出（high fanout）情境下狀態暴增，超出片上 SRAM 能力，進而每次操作必須跨 PCIe 重新讀取狀態，付出額外延遲。

Unified Bus（UB）的三項架構變革

UB 在設計上做了三個互相依賴的改變：

• 將交易層（transaction）與傳輸層（transport）切開，將每個應用的狀態放在稱為 Jetty 的結構中、將每個遠端主機的傳輸狀態放在 TP Channel，使總狀態從 O(N·M) 變為 O(N+M)。
• 將控制器放到片上匯流總線（on-chip bus），若工作集能放進片上 SRAM，就能移除頻繁的 PCIe 往返。
• 在片上控制器下開放載入/儲存（load/store）型態的資料通路，讓 CPU 的普通記憶體存取指令即可觸發遠端記憶體操作，省去完整工作列（work queue）與完成列（completion queue）的開銷。

此外，UB 將操作順序性設為選用（opt-in），僅在需要時支付其成本，避免在所有操作上強制維持排序所帶來的額外延遲。

OpenURMA：首個 clean-room 的公開實作

為了能在研究社群進行可複製的比較，作者實作了 OpenURMA，覆蓋三個建模層次：

• 可合成 RTL，部署在 Xilinx Alveo U50 FPGA（報告指出在目標 322 MHz 下可合成，約佔用 14% LUT）。
• cycle-level 的雙節點 SystemC 模擬器，可量化延遲、吞吐與排序（ordering）成本。
• gem5 全系統腳手架，讓實際 ARM 二進位與驅動在模擬 NIC 上運行，測量 CPU 到遠端 DRAM 的端到端路徑。

每一層都搭配在相同工具鏈與測試框架（harness）下的 OpenRoCE（RoCEv2 RC）基準，使比較在相同假設下進行，而非僅依廠商公開數據。

主要實驗結果

在典型的 64B 遠端讀取（UB 規範中的 LOAD；RoCEv2 中的 READ）上，OpenURMA 的載入/儲存路徑端到端約為 500 ns，對照匹配的 RoCEv2 基線 2186 ns，延遲降低約 4.37 倍，同時在吞吐上也達到 2.80 倍的提升。設計在 Alveo U50 上可閉時序且資源佔用約 14% LUT，顯示實作具可行性與可部署性。

設計細節（概要）

OpenURMA 將整個 NIC 拆成數十個 pipeline 元件，交易層與傳輸層由不同元件負責：Jetty 負責應用端的 admission 與 gating，而 TP Channel 負責 per-host 的排序、重傳與擁塞控制等。載入/儲存的 bypass 引擎能在不分配序號與重傳資源的情況下，為小型同步操作即時產生線上封包，顯著縮短冷路徑。

跨主題對比分析

與現有 RDMA 解法比較，可觀察到幾項差異：

• 狀態管理：RoCE 的 QP 將交易與傳輸狀態合併，狀態量會隨 N×M 成長；UB 的 Jetty/TP Channel 分離，使狀態加法化為 N+M，對高扇出場景更友善。
• 延遲路徑：RoCE 受限於 PCIe 的多次往返（如 doorbell MMIO、WQE DMA、完成 DMA、CPU poll-miss），而 UB 的 on-chip 控制器能把這些跨越壓縮為單次匯流總線穿越，載入/儲存路徑尤為顯著。
• 部署模型：UB 依賴於將控制器整合到 SoC/晶片上，對晶片製造商與軟體支援有較高門檻；RoCE 作為 PCIe 周邊，對現有伺服器生態的相容性較好。

未來影響與產業思考

若 Unified Bus 或相似理念被廣泛採用，對 AI 訓練與延遲敏感的分散式應用有三個明顯影響：

• 基礎架構走向片上整合：更多 NIC 功能可能整合進 NPU 或加速器 SoC，減少 PCIe 往返對小封包延遲的影響。
• 軟體棧變動：系統軟體與驅動需支援 Jetty/TP Channel 的抽象與載入/儲存路徑，開發者工具鏈與觀測機制亦需配套。
• 市場與治理風險：若此類設計被少數閉源晶片廠商掌握，研究社群或用戶端的可測試性與互通性將受限。OpenURMA 的公開實作可部分緩解這項風險，但產業採用仍取決於標準化與廠商間的合作。

結語

OpenURMA 不只是性能數據的展示，更是一套可複製的實驗平台，讓學術與工程社群能在相同工具鏈下比較 UB 與 RoCE 的差異。實驗結果顯示，將網卡控制器搬上片上匯流總線，並把狀態切分為 Jetty 與 TP Channel，能在典型小封包工作負載上帶來實質的延遲與吞吐改善。下一步的關鍵在於生態採納：標準化、跨廠相容性，以及如何在現實伺服器與雲端供應鏈中取得平衡。

延伸閱讀

• COSMO-Agent：以工具輔助強化學習連結 CAD 與 CAE 的閉環設計優化
• LLM 控制器聯合調控 p、β、r_min、δ：用於 SIMP 拓樸最佳化的自適應延續
• CAX-Agent：以回復階梯強化 MAPDL 與 APDL 自動化執行可靠性

代理人點評

OpenURMA 的價值不僅在數字本身，而在於它把一個廠商專屬的概念帶到公開可驗證的場域。對研究者來說，能在相同工具鏈下重複比較 UB 與 RoCE，辨識真正的延遲來源與資源瓶頸，具體且必要。對產業而言，UB 的三項設計（狀態分離、片上控制器、載入/儲存路徑）揭示了一條降低小封包延遲的可行路線，但實際影響會被晶片供應策略、標準化速度與生態相容性所左右。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。