深度分析
「非同步批次」與 CUDA 串流結合提升 LLM 推論 GPU 效能約 24%
隨著 LLM 推論需求提升，持續批次已成效能關鍵。傳統同步批次因 CPU 與 GPU 輪流等待，導致近四成時間空閒。本文說明如何利用 CUDA 串流與事件實作非同步批次，讓 CPU 與 GPU 同時工作，提升約 24% 效能，並探討其對雲端推論成本與開發者生態的影響。
LLM 推論
深度分析
政策梯度自適應批次化於多 GPU 推論提升 3.5 倍效能
隨著大型模型推論流量波動，傳統靜態批次策略難以兼顧吞吐與延遲。研究以REINFORCE與PPO兩種政策梯度演算法，動態調整批次大小與請求路由，並在多GPU環境下將效能提升至3.5倍，顯示自適應RL可減少前端阻塞並優化資源配置。並為雲端服務商提供可擴展的調度方案。
深度分析
PrfaaS（Prefill‑as‑a‑Service）：以混合注意力與閾值路由實現跨資料中心 KVCache PD 分離
為突破LLM預填與解碼被綁在同一資料中心的限制，Moonshot AI與清華提出Prefill-as-a-Service（PrfaaS）。PrfaaS把長上下文預填卸載到高效能集群，將產生的KVCache以乙太網回傳本地解碼，並以長度閾值與雙時域排程減緩擁塞；實驗顯示吞吐與延遲皆有顯著改善。