LLM 路由

LLM 路由

UncommonRoute：Python 實作的自動 LLM 路由與成本優化代理層

開源專案UncommonRoute以自動化LLM模型路由為核心，根據請求自動挑選最經濟模型以保證任務通過率與合理準確度。這種路由器方式以一個可替代高階模型的代理層執行，顯著壓低API使用成本並支援即插即用部署，官方基準展示了82%成本節省、79.4%準確度與93.4%通過率。