LLM 代理服務

深度分析

SMetric：在 LLM 代理工作負載中實現 KV 重用與負載平衡的排程設計

隨著大型語言模型被用於自動化代理，傳統排程無法同時達成高代幣吞吐與 KV 重用。研究提出 SMetric，以首請求負載平衡、後續快取導向，利用全域 KV 儲存庫保持局部重用，較現有排程提升 10‑34% 吞吐並降低延遲，顯示平衡式排程在代理服務上具潛力。