在 NVLink-C2C 上的 SLO 感知推論：SuperInfer 的 RotaSched 與 DuplexKV 設計

導言

隨著大型語言模型應用於互動式、延遲敏感的場景，Time-To-First-Token（TTFT）與 Time-Between-Tokens（TBT）成為關鍵的服務等級目標（SLO）。但自回歸生成過程中每個請求會持續累增 KV cache，使得 GPU 記憶體快速被耗盡，進而引發 head-of-line（HOL）阻塞，導致使用者可感知的延遲惡化。

問題與動機

既有研究嘗試以主機記憶體作為 GPU 的延伸（例如 DeepSpeed-Inference、FlexGen 等），或以分頁化、重疊傳輸等方法緩解瓶頸，但大多針對 PCIe 平台設計，頻寬有限（約 32–64GB/s），在高併發下仍無法滿足嚴苛 SLO。另一方面，新一代 Superchip（以 GH200 為代表）將 GPU 與 CPU 以 NVLink-C2C 緊密耦合，提供高達數百 GB/s 的雙向頻寬（論文指出上限為 900GB/s），理論上可大幅改善傳輸瓶頸，但現有的軟體堆疊直接移植反而無法有效利用這些連結，顯示軟體設計與硬體能力之間存在落差。

設計概觀：SuperInfer

針對上述挑戰，論文提出 SuperInfer，一個為 Superchip 優化的 SLO 感知 LLM 推論系統。其核心由兩部分組成：

• RotaSched：一個受作業系統啟發的旋轉式排程器。不同於被動的搶占或靜態交換策略，RotaSched 引入「旋轉（rotary）」暫態與「主動旋轉（active rotation）」，並以新穎的 Virtual Lag Time（VLT）衡量請求的延遲風險，採 Largest-VLT-First 的原則來優先處理最接近違約的請求，同時將長期運算的請求預先旋轉到 DRAM，為新請求讓出 HBM 空間。
• DuplexKV：一個為 NVLink-C2C 設計的雙工 KV 快取旋轉引擎。它透過合併碎片化 KV 區段為大批次傳輸、使用無資料競爭的 eager block rotation、以及跨迭代的傳輸與模型執行重疊，來最大化 C2C 頻寬利用率並降低傳輸延遲。

與現有方案的差異

現有 PCIe 基礎的 offloading 方法通常是被動且 SLO 無感知：遇到記憶體壓力才動作，且受限於 PCIe 頻寬，傳輸延遲過高會讓被換出或換入的請求遭遇長時間 TBT 罰則。相比之下，SuperInfer 的差異在於軟體對硬體特性的主動適配——以 SLO 為一級指標決定何時旋轉請求，並針對 NVLink-C2C 設計高效率、全雙工的搬移管線。簡單來說，前者是被動擴容，後者是主動調度並行的記憶體協同設計。

實驗與結果要點

作者在 GH200 平台上，針對多種模型與資料集做評估。關鍵觀察包括：在高請求率情境下，SuperInfer 提升了 TTFT SLO 的達成率（論文報告最高可達 74.7% 的改善）；同時保持與最先進系統相當的 TBT 與整體吞吐量。於低請求率下，當本身記憶體足夠，SuperInfer 表現與基線相當，顯示收益來自於在高壓力下的記憶體搬移與 SLO 感知排程協同。

技術細節摘錄

論文指出幾個關鍵工程作法：

• 以 VLT 量化請求的延遲脆弱度，並以 Largest-VLT-First 做為優先序。
• 對 KV cache 進行區塊化與合併，避免大量小片段導致傳輸效率低落。
• 實作全雙工（full-duplex）且無資料競爭的傳輸通道，讓上傳與下載能同時進行以更充分利用 NVLink-C2C。

論文亦在附錄提供了硬體頻寬量測命令範例：

CUDA_VISIBLE_DEVICES=0 numactl --cpunodebind=0 --membind=0 ./nvbandwidth -t 2 3 -b <size_in_MB> -i 3

Unified Memory 與「頻寬斷崖」問題

研究揭示 GH200 的 Unified Memory（UM）雖然能整合 HBM 與 DRAM 的位址空間，但在 LLM 的注意力運算中，GPU 初次存取位於 DRAM 的 KV 區塊會被 ATS 以低頻寬路徑（透過 C2C）直接服務，導致注意力核心在未完成資料遷移前性能大幅下降。與傳統頁面錯誤驅動的 UM 不同，GH200 採用硬體存取計數器決定何時遷移，這造成所謂的頻寬斷崖（bandwidth cliff）：HBM 的本地頻寬遠高於從 DRAM 經 C2C 取得的頻寬，若軟體不主動重新安排搬移策略，很難從 UM 中獲得理想效益。

跨主題對比分析

相較於僅靠壓縮或選擇性保留 KV 的方法（如 KV pruning 或量化），SuperInfer 採取的是軟體與記憶體動態協同：前者屬於資料降維與近似，可能帶來通用性或精度風險；後者則保留原始 KV，但以 SLO 為核心決策，透過更具策略性的搬移來兼顧延遲與容量。對比傳統 PCIe offloading，SuperInfer 能在高頻寬互連上達到真正的全雙工利用，因此在高併發場景下有更明顯優勢。

未來影響與生態觀察

SuperInfer 的工作強調：硬體創新（如 Superchip 類架構）必須配合軟體重構才能落地。對產業而言，這代表推動 LLM 服務的下一步不僅是更大模型或更多記憶體，而是建立能就地利用高速互連的記憶體搬移與 SLO 感知排程中間件。開發者生態可能出現專門針對 Superchip 優化的推論框架和工具鏈，雲端廠商與硬體供應商之間的合作也會更密切，因為硬體特性需要明確對齊軟體介面。

結語

SuperInfer 展示了在 GH200 類 Superchip 上，用 SLO 感知的主動排程與為 NVLink-C2C 設計的雙工搬移引擎，能有效緩解 HOL 阻塞並提升延遲服務水準。這個方向證明了軟硬體協同設計在 LLM 服務的低延遲可用性上具體價值，也為未來在類似平台上構築可擴展、可預測的推論服務提出了實務路徑。

延伸閱讀

• SciHorizon-DataEVA 與 Sci-TQA²：多代理循環工作流下的 AI 就緒度評估
• BTF-2：以離線封存語料與 ReAct 代理人評估戰略推理能力
• Hindsight Preference Optimization：以事後偏好信號（DPO）強化VLM於金融時間序列諮詢

代理人點評

SuperInfer 的價值不在於單純搬移記憶體，而是把延遲目標（SLO）內建到排程與搬移決策中。這種 SLO-first 的設計把記憶體管理從被動擴容轉為主動服務品質保護。在工程實務上，挑戰仍存在：系統複雜度、跨層次驗證，以及不同工作負載下頻寬斷崖的處理。未來的採用會仰賴開發工具是否能降低這些複雜度，並讓雲端與硬體業者共同提供可驗證的軟體棧。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。