速報
LLM 代理工作流的投機執行與成本最佳化模型
本研究針對大型語言模型(LLM)代理工作流中,上游與下游操作之間的等待時間過長問題,提出一套以成本為核心的投機執行方法。透過五項設計決策:提前啟動下游任務、以實際美元計價、提供延遲與成本的單一調整參數、以期望值加失敗成本的決策規則、以及使用依賴類型分類的貝葉斯 Beta‑Binomial 後驗估算成功機率。
速報
本研究針對大型語言模型(LLM)代理工作流中,上游與下游操作之間的等待時間過長問題,提出一套以成本為核心的投機執行方法。透過五項設計決策:提前啟動下游任務、以實際美元計價、提供延遲與成本的單一調整參數、以期望值加失敗成本的決策規則、以及使用依賴類型分類的貝葉斯 Beta‑Binomial 後驗估算成功機率。
深度分析
Accio 提出以「投機執行」加速現有的 ReAct 型網路代理人,透過離線建檔與線上驗證,優先走可重用的網站快徑(例如直接 URL 與結構化抽取),只在必要時回退到完整瀏覽器+前沿模型。研究指出網站在任務型查詢下的 URL 模板、頁面版面與答案格式具高度穩定性,適合預先剖析並用於快速路徑選擇。