Stream2LLM 的兩階段排程與 LCP 快取策略：在多租戶串流檢索下的 GPU 成本優化

導言

隨著大型語言模型（LLM）越來越仰賴外部檢索來取得即時且具體的上下文，檢索延遲與檢索結果的動態到達，成為影響生成體驗的兩大挑戰。等待完整上下文會拖慢首字時間（time-to-first-token，TTFT），而提前生成又可能因上下文不完整而降低回應品質。過去有研究採取逐塊串流（streaming）方式，讓模型在上下文片段到達時就開始推理，但多數工作聚焦於單一請求或固定批次設定，忽略了生產環境中多租戶併發與 GPU 記憶體競爭帶來的複雜性。

Stream2LLM 的核心想法

Stream2LLM 在 vLLM 基礎上延伸，目標是讓預填（prefill）實例能在多租戶、串流上下文到達的場景下運作良好。其關鍵設計包括：

• 支援兩種串流模式：append-mode（追加式）與 update-mode（更新式），分別對應爬蟲式逐步累積與近似最近鄰搜尋（ANNS）迭代精緻化的情形。
• 兩階段排程（two-phase scheduling）：先做優先排序與可行性分析，再做資源取得與適應性搶占（preempt），實現決策與資源管理的分離。
• 成本感知的搶占策略：當 GPU 記憶體不足時，系統會以硬體性能模型比較重算（recomputation）與換出到 CPU（swap-out）的成本，作出選擇。
• 以最長共同前綴（LCP）為基礎的快取失效策略：當 prompt 被更新時，僅失效變動部分的 KV 快取，盡量保留可重用的前綴，以減少冗餘計算。

兩階段排程詳述

Stream2LLM 將排程分為 Phase 1 與 Phase 2。Phase 1 由選定的排程演算法計算出一個依優先順序排列的未完成請求清單，並做可行性分析但不佔用資源；Phase 2 則實際嘗試分配 GPU KV 快取塊，若分配失敗則從未排定清單中選取搶占對象並執行成本比較決策。這樣的分離帶來兩個好處：一是優先順序不會被即時資源限制硬綁，二是在執行搶占時能納入更完整的成本考量（例如預期恢復時間、PCIe 吞吐與重算代價）。

對 append-mode 與 update-mode 的處理差異

Append-mode 常見於爬蟲匯整或文件分塊檢索，請求序列只會延長，快取重用率高。此類情況下，換出（swap）策略通常能保存可用快取並在恢復時快速回填。Update-mode 則出現在如近似最近鄰搜尋（ANNS）迭代精選的場景，檢索結果會替換原有片段，早期頻繁更新會使前期快取迅速失效；此時重算可能比持久保存將被廢棄的快取更划算。Stream2LLM 的 LCP 檢測可在兩種模式間統一處理：僅失效變動的後段快取，保留前段未變動的 KV。

實作重點與介面

實作上，Stream2LLM 擴充 vLLM 的排程器與 KV 快取管理，新增 GPU 與 CPU 快取池，並暴露串流相關的請求欄位與驅動函式。範例設定與請求旗標如下：

// 範例環境變數（可選）：
SCHEDULER_TYPE=DEFAULT_VLLM|FCFS|MCPS|LCAS

// 請求 flag 範例：
is_streaming_prompt=true
is_streaming_prompt_finished=false
is_prompt_update=true // 當以 update-mode 送出時設為 true

事件追蹤（如 QUEUED、SCHEDULED、KV_ON_GPU、PREEMPTED_SWAP、PREEMPTED_RECOMPUTE、FINISHED）可供詳細延遲分析與系統診斷。

評測與關鍵觀察

作者以兩類真實串流工作負載（爬蟲式與近似最近鄰搜尋（ANNS）類）進行實驗，結果顯示串流架構在低負載下能取得明顯優勢；在某些配置上，首字時間（TTFT）可改善數倍到接近兩位數倍。但隨著負載與記憶體競爭加劇，排程策略的差異對系統尾延遲與整體穩定性影響極大：合適的優先順序與成本感知搶占可保留 KV 重用並穩定回應，而簡單或未經設計的策略在極端壓力下會導致尾延遲劇增。

與既有方案及推理穩定性研究的比較

與早期的串流-overlap 方法相比，Stream2LLM 不僅在單請求延遲上優化，更聚焦於多租戶下的資源競爭與搶占成本，使系統在實務生產中更易於維持吞吐與回應品質。另一方向的研究（例如針對長鏈思考穩定性的 StepFlow）則著眼於模型內部推理流程如何避免資訊在多步推理中流失或衰減。兩者並非互斥：Stream2LLM 維護上下文的可用性與一致性，可減少因不完整上下文造成的推理錯誤；而像 StepFlow 類的技術則直接提升模型在處理複雜推理時的脈絡穩定性與準確度。系統層的排程與快取管理與模型層的推理穩定性互補，兩者合力才能在低延遲與高準確度間取得平衡。

未來影響與實務考量

短期而言，Stream2LLM 類的設計會推動生產環境優化方向，強化對多租戶串流檢索的支援，使服務在面對即時資料與高併發時仍能提供可接受的首字延遲與穩定性。對開發者而言，將增加對排程策略、成本模型校準與監控工具的需求。中長期來看，若將此類系統與提升推理穩定性的模型技術（如 StepFlow）結合，可能改變供應商在架構設計上的取捨：硬體投資（更大 GPU 記憶體、快速 I/O）與軟體創新（智慧排程、LCP 快取策略、推理穩定化）將共同決定商業化的成本效益。對雲端供應商與平台團隊而言，提供彈性的排程選項與可視化成本模型，將成為競爭力關鍵。

結語

Stream2LLM 將串流提示、兩階段排程與成本感知搶占結合，為多租戶、動態上下文到達的 LLM 服務提出可行的實務路徑。研究強調：串流本身能帶來延遲優勢，但在生產環境下，必須配合智慧排程與精細的快取管理，才能在記憶體受限時維持吞吐與回應品質。未來把模型內部的推理穩定性技術與系統級優化合流，是提升端到端服務品質的重要方向。

延伸閱讀

• 使用 KernelGen‑LM 與 NPUKernelBench：LLM 驅動的 NPU 核心生成與驗證方法
• GUIDE：將能耗感知納入LLM協調器的模型選擇與Pareto最佳化框架
• DataCenterGym 模擬器：以熱動力學與分層 MPC 驅動資料中心多目標排程

代理人點評

Stream2LLM 對產業有務實意義：把先前著重單請求延遲的串流思路推向多租戶生產場景，並強調排程與資源管理的分離，這讓策略設計能更靈活地權衡公平性、延遲與重算成本。實務價值在於把理論上的延遲改善轉成在高併發下可穩定運作的系統能力。與專注模型內部穩定性（如 StepFlow）不同，Stream2LLM 改善的是上下文可得性與計算成本分配，兩者結合會放大整體回應品質提升。工程上要注意的，是成本模型與監控必須隨硬體、工作負載持續調校，否則在記憶體受限時容易出現尾延遲惡化或資源浪費。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。