混合式多代理 AI 推理：在大型語言模型與小型語言模型間尋求成本、效能與耗能平衡

快訊

混合式多代理系統被提出作為連接雲端大型語言模型(LLM)與可在裝置端執行的小型語言模型(SLM)的折衷方案。研究指出，在成本、耗能與任務效能間存在緊密耦合，單靠直覺式選擇無法達到最佳化。

研究方法

作者把兩種具代表性的多代理系統架構調整為支援混合推理：同時讓裝置端的 SLM 與雲端的 LLM 協同處理任務，並系統化地評估設計選項如何在耗能、金額成本與效能的帕累托前緣上移動。這種方法旨在把以往零散的領域性抉擇，轉為可比較的設計分析。

主要發現

研究發現，SLM 在接受 LLM 協助時能有效提升表現，但「最佳混合架構」並無通用答案，強烈依賴具體任務特性與運行場景。另一路徑性的觀察是，提升整體或前沿等級的算力並不總是帶來更好結果，代表單純投入更多雲端資源並非萬靈丹。

意涵

這份工作為邊緣與雲端協同的推理系統提供實證洞見，提醒開發者在部署混合式 MAS 時需以任務為導向，並在耗能與成本間做細緻權衡，而非單純追求最大算力。

延伸閱讀

• PCAS：以依賴圖與 Datalog 宣告式政策實現確定性授權編譯器
• DIBA：以行為位移揭露 RLVR 下的成員推斷風險
• LaTeXpOsEd：以 LaTeX 源檔、模式比對與大型語言模型評估預印本的資安風險

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。