線性規劃

深度分析

線性規劃驅動的多目標 LLM 路由：同步優化吞吐、即時延遲與尾部效能

隨著 LLM 服務需求激增，研究提出以線性規劃為基礎的多目標路由框架，透過影子價格與雙價控制在毫秒級決策下同時優化吞吐、延遲與尾部效能，該框架將批次槽位與 KV 快取記憶體視為時間耦合資源，並以可解釋的權重將吞吐、端延遲、時間與尾部延遲分解為單請求獎勵，使路由決策透明且，實驗顯示相較傳統啟發式顯著提升表現。