llmio
llmio：Go 實作的 LLM Gateway，統一多模型 REST API 與成本追蹤
GitHubExplorer發現開源專案llmio，一個以Go實作的統一LLM閘道，提供加權負載平衡、可觀測性及費用追蹤。兼容OpenAI、Anthropic與Gemini等介面，支援流式與非流式轉接，並內建管理介面。此專案能幫助開發者以單一服務整合多家模型，簡化部署與監控流程。
llmio
GitHubExplorer發現開源專案llmio，一個以Go實作的統一LLM閘道，提供加權負載平衡、可觀測性及費用追蹤。兼容OpenAI、Anthropic與Gemini等介面，支援流式與非流式轉接，並內建管理介面。此專案能幫助開發者以單一服務整合多家模型，簡化部署與監控流程。
Rust
ShepherdModelGateway（SMG）是一個跨引擎的開源LLM入口，支援多種後端與gRPC管線。它引入KV快取感知路由、對話歷史與tokenization快取等做法，能降低延遲並優化資源分配，對企業多租戶部署有實際影響。有助於整合本地與雲端推理。