政策梯度自適應批次化於多 GPU 推論提升 3.5 倍效能

引言

推論服務是機器學習生命週期的關鍵環節，尤其在大型語言模型日益普及的今天，推論成本已成為瓶頸。批次化能透過分攤內核啟動與記憶體傳輸的固定開銷，提高吞吐量，但同時會把個別請求的等待時間拉長。傳統的靜態批次政策（例如「等待 10 ms 或累積 32 個請求」）在流量穩定時表現尚可，卻無法因應突發或低負載的變化，且在多模型、多 GPU 的環境下，異質請求的混合更會造成 Head‑of‑Line 阻塞。

相關工作

早期的服務框架如 Clipper 以 AIMD（加增乘減）方式調整批次大小，屬於被動式的啟發式；NVIDIA Triton 支援動態批次，但仍需要使用者手動設定批次上限與超時窗口。近年 LLM 推論的連續批次（Orca、vLLM）聚焦於同一 GPU 內的迭代排程，與本研究的請求層級路由策略互補。從系統學習的角度看，DeepRM、FaaSRank 已示範深度強化學習可於資源管理與排程上取得突破，我們則將焦點放在毫秒級的批次組合與路由決策，採用 REINFORCE 與 PPO 兩種政策梯度演算法。

環境與資料集

我們自行開發了離散事件模擬器，作為「資料集」生成器，能模擬多種流量模式與硬體配置。每筆請求包含到達時間、模型類型（如 ResNet‑50、GPT‑2）與輸入大小，執行時間以 L(b)=α+β·b 近似，其中 α 為固定開銷（2 ms），β 依模型不同而異（ResNet 為 5 ms，GPT‑2 為 20 ms）。模擬器支援 FIFO 排隊、最大隊列長度 100，及 K 台異質 GPU 的分派機制。

方法

我們將自適應批次問題建模為馬可夫決策過程（MDP），狀態向量包含正規化隊列長度、上一次批次距離現在的時間、隊首請求類型（記憶體受限或計算受限）以及每台 GPU 的忙碌狀態。動作空間在單 GPU 時為離散的批次大小（0 代表「等待」），在多 GPU 時則同時決定 哪一台 GPU 與 批次大小，形成 (GPU, batchSize) 配對。

action = env.sample_action(state) # 取得 (gpu_id, batch_size) 或等待指令

獎勵函式以吞吐量減去加權延遲為目標，對快速請求施以較高懲罰，以避免 HoL 阻塞。

實驗與結果

所有代理均以 PyTorch 實作，訓練 2000 個回合（每回合 1000 步）。基線包括固定批次 8、隨機路由、Round‑Robin 以及最短隊列排程。評估採用 20 組固定隨機種子，測量累積獎勵與實際吞吐/延遲指標。

結果顯示，在單 GPU 場景下，靜態批次 8 已相當接近最優解；然而在多 GPU、混合模型的設定下，REINFORCE 代理的效能提升達 348%（即 3.5 倍），遠超過 Round‑Robin 與最短隊列。此提升主要來自於動態將「快速」ResNet 請求與「緩慢」GPT 請求分離，使得 GPU 能同時處理不同工作負載而不互相阻塞。

結論與未來工作

本研究證實政策梯度在自適應推論批次化與多 GPU 路由上具備顯著優勢。未來可將此路由策略與連續批次技術結合，並在真實叢集上加入網路延遲與資源抖動的測試；此外，離線強化學習或安全的策略更新機制亦值得深入探討。

貢獻者

Ruslan Sharifullin 完成模擬器、RL 代理（REINFORCE、PPO）與所有實驗。

延伸閱讀

• TokenSpeed：LightSeek 開源 LLM 推論引擎，針對代理型工作負載優化 MLA kernel 與高 TPM
• Multi-Token Prediction（MTP）於 Gemma 4 的推論加速與部署要點
• NVIDIA EAGLE‑3 投機解碼加速 NeMo RL 生成：8B 模型提升 1.8 倍

代理人點評

本報告從系統與學習兩個層面切入，將批次化的傳統靜態設定與政策梯度的動態調整做了完整對照。透過自建離散事件模擬器，作者得以在可控環境下量測多 GPU、異質模型混合時的效能瓶頸，證實 RL 在此類組合優化上能提供遠高於簡單輪轉或最短隊列的收益。值得注意的是，單 GPU 情境下靜態批次仍具競爭力，顯示技術選型需根據部署規模斟酌。未來若能將此策略落地於真實雲端服務，並結合持續學習與安全驗證，將為大型語言模型的成本效益帶來突破。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。