LLM 代理工作流的投機執行與成本最佳化模型

背景與挑戰

大型語言模型（LLM）代理的工作流通常是串接多個模型呼叫與工具執行，因為下游任務必須等上游完成才能開始，導致大量牆時空白等待。

投機執行的核心概念

研究者提出在上游尚未完成時，就預測其輸出並啟動下游作業。每一次投機皆以實際美元計費，分別設定輸入與輸出費率，並提供單一的延遲‑成本調整旋鈕讓使用者權衡。

決策規則與成功機率估算

投機是否執行依據期望值規則，公式中加入失敗加權成本項與偏好調整門檻。成功機率以貝葉斯 Beta‑Binomial 後驗估算，先驗根據依賴類型分類（副作用自由、冪等或可在提交屏障後階段化）設定。

運行機制與校準流程

系統在符合可接受前提的邊緣上執行投機，錯誤的投機會被重新執行，代幣費用會被退還，但不可撤回的副作用不會被逆轉。校準管線分為離線重播、影子測試、金絲雀、線上校準與漂移觸發的殺死開關五個階段，確保模型隨時間變化仍能維持效能。

效能驗證與比較

作者以八種生產工作負載為基礎，建立適配評分表，並與 DSP、Speculative Actions v2、Sherlock、B‑PASTE 四個最近的系統做對照，結果顯示在每個維度（成本、延遲、成功率、回滾效率）皆具明顯優勢。合成測試亦驗證了決策邊界、機率門檻、後驗回復以及串流取消行為的正確性。

延伸閱讀

• Patch2Vuln：以語言模型結合 Ghidra/Ghidriff 從 Linux 二進位重建補丁語意
• SAFE：以 LLM 情境化靜態分析評估公開研究工件的安全風險
• PEB 基準：量化授權受限證據對企業代理式人工智慧結果完整性的影響

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。