深度分析
在 Nemotron（LoRA 微調）上部署推測解碼：以 EAGLE3 + vLLM 加速商務代理推理
大型語言模型在電商生產環境需在模型判斷力與延遲SLA間取得平衡。本文把訓練好的Nemotron商務小型語言模型與一種無需再訓練的草稿模型推測解碼策略EAGLE3結合，透過vLLM在同一套H100硬體上實驗，重點衡量吞吐、延遲與品質保存。
vLLM
深度分析
Stream2LLM 的兩階段排程與 LCP 快取策略：在多租戶串流檢索下的 GPU 成本優化
大語言模型在檢索上下文時遭遇延遲與多租戶記憶體競爭。Stream2LLM提出兩階段排程與成本感知的預empt選擇，並以最長共同前綴做緩存失效以減少重算，支援追加與更新兩種串流模式。評測指出串流能顯著改善首字延遲，且在記憶體壓力下智慧排程至關重要。
Holotron-12B
Holotron-12B：基於 Nemotron 混合 SSM‑Attention 的高吞吐多模態電腦操作代理人
H公司基於NVIDIANemotron‑Nano‑2VL開發Holotron-12B，採用混合狀態空間模型與注意力機制提升長序列推論效能，於WebVoyager測試中達2倍以上吞吐量，顯示其在並發電腦使用任務上的優勢。100工作者下處理8.9k token，較前代Holo2-8B提升顯著。
深度分析
SPEED‑Bench：統一且多元的投機解碼效能基準
投機解碼是提升大型語言模型推論速度的關鍵技術。SPEED-Bench 以語意多樣的 Qualitative 切分與支援多併發的 Throughput 切分，結合 vLLM 與 TensorRT-LLM 產線引擎，提供更真實的效能測試。實驗顯示合成輸入會高估吞吐量，且草稿長度與批次大小之間存在最佳化關係。