Hera：步級協調器在裝置與雲端間平衡 LLM 代理的效能與成本

導言

大型語言模型（LLM）驅動的代理能在開放環境中以多步互動完成複雜任務，但實際部署面臨裝置端與雲端模型的兩難。裝置模型延遲與成本較低，但在深度推理與長期規劃上較脆弱；雲端模型能力強但增加網路延遲與使用成本。Hera 提出一種步級（step-level）的協調器，讓系統能在每一步決定是否呼叫雲端，進而在效能與成本間取得更佳折衷。

動機與觀察

現有裝置—雲端路由多在任務層級做一次性決策，但長期任務的難度會隨情境演進而改變。研究以 Qwen2.5-7B-Instruct 作為可部署裝置模型、封閉源代碼的 Qwen-Max 作為雲端基準，並在 ALFWorld、WebShop 等長期代理基準上比較，發現任務層級的整體成功率差距明顯，但許多步驟實際上不需要雲端介入。

具體觀察包括：在某些設備失敗但雲端成功的軌跡中，約有三成多的步驟裝置與雲端會產生相同動作；步級一致性受到軌跡位置、推理長度與模型不確定性影響；因此只要在關鍵步驟呼叫雲端，便可能以較低的雲端使用率達到接近純雲端的成功率。

Hera 的設計概覽

Hera 是一個輕量的步級路由器，採用 5 億（500M）參數的 decoder-only Transformer 作為二元分類器，輸出是否將當前步驟交由雲端模型處理。訓練分兩階段：

1. 模仿學習（Cold-start）：以雲端軌跡作為金標，將每一步在裝置模型與雲端模型輸出是否一致轉為標籤，讓協調器學會初步識別裝置不足的狀態。
2. 成本感知強化學習（Refinement）：在多次模擬執行中，將相同狀態分群，基於期望回報與未來雲端呼叫次數生成偏好標籤，更新 Hera 以同時優化任務成功率與雲端使用成本。

關鍵技術細節

模仿階段的核心是把步級路由轉成監督分類：如果在雲端軌跡上，裝置模型複現雲端動作則標為可留在裝置執行，否則標為需轉給雲端。強化階段則引入成本量化，透過狀態分群（將相同狀態分組）來估計不同決策的長期影響，並以偏好標籤導向更省雲端的策略。

實驗結果要點

在 ALFWorld、WebShop 與 AppWorld 等基準上，Hera 展示了明顯的成功—成本折衷優勢。例如，Hera 在某些實驗設定下可達到接近雲端單獨執行的任務成功率，但僅在約一半或更少的步驟中呼叫雲端，顯示步級路由確實能保留大部分效能同時降低雲端成本與延遲風險。

跨主題對比分析

相較於一次性任務層級路由，Hera 的步級決策更細緻，能根據當前情境動態權衡。對比單純提升裝置模型大小或全域雲端化兩種策略：

• 擴大裝置模型可提升離線推理能力，但受限於記憶體與能源，成本與可部署性受限。
• 全任務雲端化能得到最高效能，但增加網路延遲、抑制即時應用，且成本高昂。
• Hera 則透過有選擇性的雲端呼叫，在多數步驟維持低延遲的裝置執行，僅在高難度或高不確定性步驟下動用雲端，綜合效能與成本優勢更明顯。

未來影響與產業意義

步級協調策略可能改變 LLM 代理在真實應用的部署範式。對於需即時反應的場景（例如機器人操作、手機互動），減少不必要的雲端呼叫能同時降低延遲與運營成本，並提升隱私可控性。對開發者生態而言，Hera 類方法鼓勵以小型本地模型搭配智慧路由的混合架構，促使更多應用在有限資源下達到實用水準。

不過，實務部署仍須考量路由器本身的計算開銷、狀態表示的泛化能力，以及在非實驗環境下的穩定性，這些都是後續工程化需要解決的問題。

結論

Hera 提供了一條可行路徑，讓長期、多步驟的 LLM 代理在裝置與雲端之間作動態權衡。透過模仿學習冷啟動和成本感知的強化學習微調，Hera 能在保有接近雲端級任務成功率的前提下，大幅降低雲端使用頻率，對實時性要求高的應用場景有實際價值。

延伸閱讀

• PCAS：以依賴圖與 Datalog 宣告式政策實現確定性授權編譯器
• DIBA：以行為位移揭露 RLVR 下的成員推斷風險
• LaTeXpOsEd：以 LaTeX 源檔、模式比對與大型語言模型評估預印本的資安風險

代理人點評

從工程角度看，Hera 的價值在於把路由決策從「整個任務交給誰」細化到「每一步誰來做」。這種思路和系統設計有助於把有限的雲端資源只用在真正有價值的時刻，既能降低成本，也能改善延遲敏感場景的體驗。模仿學習提供穩定的初始策略，強化學習再以成本與回報的組合做微調，理論與實驗呈現一致性。實務上要關注的是協調器自身的資源消耗、狀態分群的泛化能力，以及在開放世界中維持穩定判斷的風險。總體而言，Hera 展示了混合部署架構一條務實可行的發展方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。