HyperFlexis：結合 Prefill/Decode 分離與 D2D 權重傳輸的多 SLO LLM 調度系統

導言

大型語言模型（LLM）在對話、文件摘要與搜尋等應用普及後，實務服務面臨請求型式與延遲目標高度異質的壓力。不同任務對首字生成（TTFT）與持續生成延遲（TPOT）有不同要求，系統常同時處理延遲敏感互動與高吞吐批次工作，使得單純的靜態部署或一次性分派難以兼顧效能與成本。

HyperFlexis 概覽

HyperFlexis 是一個將調度（dispatching）與擴縮（scaling）聯合考量的 LLM 服務系統。設計要點可分為三類：

• 多 SLO 感知的中央調度器：根據請求的 TTFT/TPOT 與系統狀態，計算可接受的 token 預算，並以優先隊列決定分派，對新到與進行中請求皆採保護性策略。
• P/D 分離與 KV 快取遷移：在 Prefill/Decode 分離部署下，系統支援階段性獨立調度，並提供遷移機制以搬移 KV 快取，降低跨實例延遲。
• 快速且經濟的擴縮：統一的 Scaling Controller 支援角色切換（prefill⇄decode）與基於利用率的自動調整，並透過裝置對裝置（D2D）權重傳輸縮短冷啟時間。

調度策略要點

HyperFlexis 採中央化 Dispatcher，維護兩個關鍵隊列：請求優先隊列（按 TPOT 與到達時間）與工作者優先隊列（按下一可用時間或「成熟時間」排序）。調度流程包括：

1. 選擇下一個可用工作者（基於成熟時間）；
2. 計算該工作者的 token 預算（確保不違反現有與新請求的 SLO）；
3. 掃描請求隊列，挑選可在預算內且達到入列機率閾值的候選請求；
4. 分派並更新工作者狀態與成熟時間。

此設計旨在平衡優先接納高優先請求與保護正在處理任務，並減少分散式協調的通訊成本與錯誤分配。

P/D 分離與遷移協調

在分離式 Prefill/Decode 架構下，HyperFlexis 將 prefill 與 decode 的排程獨立處理：Dispatcher 處理 prefill，Migrator 負責 decode 的最終分派與快取遷移。當請求完成 prefill 後，系統透過 TransferLink Manager（TLManager）決定是否將 KV 快取從 prefill 實例移動到 decode 實例，或等待本地 decode。此動態決策會考量隊列長度、預測完成時間與 SLO 優先順序以權衡遷移成本與延遲風險。

快速擴縮與 D2D 權重傳輸

傳統冷啟通常需要從遠端儲存載入模型權重，耗時且增加延遲。HyperFlexis 引入裝置對裝置（D2D）權重傳輸，允許正在運作的實例透過高頻寬通道將模型權重傳給新啟動的實例，以降低載入成本與冷啟延遲。在評估中，此機制可將某些載入開銷縮短至約原始時間的 1/19。結合擴縮控制器的角色連結（prefill–decode linking），能在縮放期間降低 KV 遷移與重新分派的額外負擔。

系統監控與模型化

系統以 Monitor 收集工作者利用率、請求延遲、隊列狀態與角色分配等指標，供 Dispatcher 與 Scaling Controller 做出即時決策。Prefill 與 Decode 的延遲模型分別以輸入長度與當前生成長度作為關鍵因子，包含線性與超線性項，用以估算批次處理時間與每步延遲。

與現有方案的比較分析

既有研究多聚焦於單一任務類型或單一實例的排程，而擴縮研究也多集中於資源利用率調整。HyperFlexis 的差異在於橫向整合多 SLO 調度與擴縮策略：

• 相較於一次性分派策略，HyperFlexis 採階段化且更具預測性的分派流程，降低因預測誤差導致的 SLO 違規風險；
• 相比僅做自動擴縮的方案，本系統將擴縮與請求優先級、KV 遷移連動，使擴縮決策可即時保護高優先請求；
• D2D 權重傳輸提供低於純存儲載入的冷啟成本，適合高密度、需快速應變的部署場景。

實驗結果要點

評估顯示，在多類型工作負載下，HyperFlexis 在 SLO 達成率與延遲改善方面均優於基線，且成本具競爭力。D2D 傳輸在縮短冷啟時間方面提供明顯優勢，對短時突發流量與細粒度擴縮特別有用。

未來影響與展望

從產業角度看，HyperFlexis 展示了將調度演算法與擴縮機制緊密結合的價值。若未來結合多模型混合部署、異質硬體（如 GPU 與 NPU 混合）或跨叢集協調，可能進一步提升資源效率與成本彈性。此外，若 D2D 權重傳輸技術普及，將改變冷啟最佳實務，促使雲端供應商與邊緣部署在網路拓樸上做更多優化。

結語

HyperFlexis 以系統化的調度與擴縮設計回應多 SLO LLM 服務的複雜挑戰。透過階段化分派、KV 遷移協調與 D2D 權重傳輸，系統在延遲、SLO 達成率與成本三方面取得整體改善，為需同時處理延遲敏感與高吞吐任務的部署提供可行路徑。

附錄：Dispatcher 主要程序（摘要式偽碼）

Function OnRequestArrive(r):
 Insert r into RequestPriorityQueue by TPOT and arrival time

Function Init:
 Start background RunInBackground and Dispatcher loops

Function calculate_p(r):
 t_remaining = arrival_time(r) + TTFT(r) - (now + Expected_prefill(r))
 return probability p based on t_remaining and utilization

Function get_ntoken(w):
 compute max tokens that do not violate SLOs for worker w

Coroutine RunInBackground:
 loop:
 sleep(T)
 synchronize local worker states with Monitor

延伸閱讀

• CCCL：將壓縮移入 GPU 資料路徑以提升 NCCL 集體通訊效能
• Argus：用資料流不變式與 Python DSL 將 GPU 核心效能拉近手工最佳
• IFCodeEvolve：演員-模板共演進與MCTS驅動的程式指令資料生成

代理人點評

HyperFlexis 把「多 SLO 調度」與「彈性擴縮」視為一體兩面，而非各自優化的孤島。這種系統觀有三個實務意義：首先，它降低了單一策略在面對雜混負載時的脆弱性；其次，D2D 權重傳輸示範了一條工程上可行的冷啟優化路徑，對短暫突發流量尤為實用；最後，將 prefill/decode 分離的調度與 KV 快取遷移納入擴縮決策，可避免在擴容期間對高優先請求造成連鎖影響。需要注意的是，實務部署會面臨網路帶寬、實例相容性與安全性等工程挑戰；此外，調度的預測品質高度依賴延遲模型的穩定性與監控數據精準度。總體看來，該作法代表從單點優化走向系統整合的趨勢，對需要嚴格 SLO 管理的大規模服務具有實際參考價值。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。