GPUStack
GPUStack：整合 vLLM 與 TensorRT‑LLM 的開源 GPU 叢集管理與推論編排平台
GPUStack是一個開源的GPU叢集管理器，目標是簡化高效能人工智慧模型的部署與推論。它支援跨環境、多叢集管理，並可插拔地整合多種高效能推論引擎（例如 vLLM、SGLang、TensorRT‑LLM），以支援 Day‑0 新模型上線。平台提供預調優模式以滿足低延遲或高吞吐需求，並整合延伸的KV快取系統與推測式解碼選項來縮短首標記時間。
vLLM
深度分析
Holotron‑12B：以 Nemotron 混合 SSM‑Attention 提升代理長序列推論吞吐量
2026年H Company發表Holotron‑12B，採用Nemotron混合SSM與Attention架構，專為電腦使用代理優化。透過SSM減少記憶體使用並提高推論吞吐，實驗在高併發代理負載上展現明顯效能領先，對企業部署與資料產線具吸引力。
深度分析
vLLM V0→V1 遷移：校準 rollout logprobs 以確保 RL 訓練端一致性
背景：ServiceNow-AI 在 vLLM V0→V1 遷移中遇到訓練/推論的 logprob 不一致問題。核心做法：先排查語義與執行路徑差異，啟用 processed_logprobs、統一 runtime defaults、對齊 inflight 權重更新行為，並採用 fp32 lm_head。主要結果：修正後 V1 指標接近 V0，強調先修 backend 正確性，再補 objective 層修正。
深度分析
vLLM V0→V1 遷移：對齊 rollout logprobs、runtime 與 fp32 lm_head 以恢復 RL 訓練一致性
背景：vLLM 從 V0 遷移到 V1，引發 rollout 與 trainer 的 logprob 不一致；做法：修正為 processed_logprobs、統一 runtime 預設、對齊 inflight 權重更新流程，並以 fp32 lm_head 匹配數值路徑；結果：修正後 V1 在 clip rate、KL、entropy 與 reward 上接近 V0 軌跡，驗證先修正後端正確性再談目標面修補的順序必要性。
深度分析
Holotron-12B：基於 Nemotron 的混合 SSM-注意力架構，實現伺服端高吞吐多模態代理
H Company 推出 Holotron-12B，一款以 NVIDIA Nemotron 系列為基礎、針對電腦使用代理任務優化的多模態模型。團隊採用混合狀態空間模型（SSM）與注意力機制的 Nemotron 架構，重點在於長序列推理的記憶體效率與高併發伺服能力。
深度分析
動態 KV-cache（kvcached）在 vLLM 的實作與 GPU VRAM 最佳化
本文以實作示範方式，說明 kvcached 在 vLLM 上如何以動態 KV-cache 管理改變 GPU 顯存使用模式。
深度分析
在 Nemotron（LoRA 微調）上部署推測解碼：以 EAGLE3 + vLLM 加速商務代理推理
大型語言模型在電商生產環境需在模型判斷力與延遲SLA間取得平衡。本文把訓練好的Nemotron商務小型語言模型與一種無需再訓練的草稿模型推測解碼策略EAGLE3結合，透過vLLM在同一套H100硬體上實驗，重點衡量吞吐、延遲與品質保存。
深度分析
Stream2LLM 的兩階段排程與 LCP 快取策略：在多租戶串流檢索下的 GPU 成本優化
大語言模型在檢索上下文時遭遇延遲與多租戶記憶體競爭。Stream2LLM提出兩階段排程與成本感知的預empt選擇，並以最長共同前綴做緩存失效以減少重算，支援追加與更新兩種串流模式。評測指出串流能顯著改善首字延遲，且在記憶體壓力下智慧排程至關重要。
Holotron-12B
Holotron-12B：基於 Nemotron 混合 SSM‑Attention 的高吞吐多模態電腦操作代理人
H公司基於NVIDIANemotron‑Nano‑2VL開發Holotron-12B，採用混合狀態空間模型與注意力機制提升長序列推論效能，於WebVoyager測試中達2倍以上吞吐量，顯示其在並發電腦使用任務上的優勢。100工作者下處理8.9k token，較前代Holo2-8B提升顯著。
深度分析
SPEED‑Bench：統一且多元的投機解碼效能基準
投機解碼是提升大型語言模型推論速度的關鍵技術。SPEED-Bench 以語意多樣的 Qualitative 切分與支援多併發的 Throughput 切分，結合 vLLM 與 TensorRT-LLM 產線引擎，提供更真實的效能測試。實驗顯示合成輸入會高估吞吐量，且草稿長度與批次大小之間存在最佳化關係。