llm-inference

深度分析

非同步連續批次：CUDA 串流、事件與雙槽記憶體池在 LLM 推論的應用

面對雲端 GPU 成本與推論吞吐的雙重壓力，連續批次（continuous batching）雖能降低 padding 浪費，卻仍受限於預設的同步流程，使 CPU 與 GPU 交替閒置。