混合推理

速報

混合式多代理 AI 推理：在大型語言模型與小型語言模型間尋求成本、效能與耗能平衡

面對雲端大型語言模型與可離線部署的小型模型的取捨，研究把混合式多代理系統當作中間解。論文將兩種代表性系統改為支援雲端與裝置協作，分析成本、耗能與效能的權衡，發現小型模型可從大型模型協助中獲利，但最佳架構高度依賴任務，更多算力未必帶來更好結果。這為邊緣與雲端協同的設計提供實證洞見。