深度分析
線性規劃驅動的多目標 LLM 路由:同步優化吞吐、即時延遲與尾部效能
隨著 LLM 服務需求激增,研究提出以線性規劃為基礎的多目標路由框架,透過影子價格與雙價控制在毫秒級決策下同時優化吞吐、延遲與尾部效能,該框架將批次槽位與 KV 快取記憶體視為時間耦合資源,並以可解釋的權重將吞吐、端延遲、時間與尾部延遲分解為單請求獎勵,使路由決策透明且,實驗顯示相較傳統啟發式顯著提升表現。
深度分析
隨著 LLM 服務需求激增,研究提出以線性規劃為基礎的多目標路由框架,透過影子價格與雙價控制在毫秒級決策下同時優化吞吐、延遲與尾部效能,該框架將批次槽位與 KV 快取記憶體視為時間耦合資源,並以可解釋的權重將吞吐、端延遲、時間與尾部延遲分解為單請求獎勵,使路由決策透明且,實驗顯示相較傳統啟發式顯著提升表現。
深度分析
本研究聚焦於資料管線上游的連續資料摘要,提出以相似度矩陣擾動為威脅模型,設計多目標攻擊與正則化防禦的最小最大化框架。透過 DR‑次模組化的數學性質,演算法在理論上保證近似比例,且在真實影像摘要與受控叢集基準上證實能有效削弱多個摘要模型並導致下游任務效能下降;
速報
本文從幾何視角檢視貝葉斯多目標優化中以偏好變換驅動的期望改進準則,聚焦超體積(hypervolume)與 R2 兩類指標。作者釐清哪些偏好變換能保留精確可計算性、帕累托相容與單調性;在超體積端重述 EHVI 的多種表示與變換,並指出截斷 EHVI 可能失去變異數單調性;
深度分析
生成式回答引擎由被引用決定曝光,改變了內容可見性衡量。FeatGEO以特徵層級把網頁抽象為結構、內容與語言屬性,轉而在這個可解釋的空間施行多目標優化,並透過語言模型把特徵轉為自然語句。實驗顯示FeatGEO能提升引用可見性且同時維持或改善內容品質。
深度分析
在軟體工程自動化需求增加的背景下,SkillMOO 以多目標優化方式自動調整 LLM 代理人的技能組合,結合 LLM 提出的編輯與 NSGA‑II 選擇機制。實驗在三項基準任務上顯示,通過率最高提升 131%,成本降低 32%。此結果顯示精簡指令集比冗長說明更能提升效能。