load-balancing

llmio

llmio：Go 實作的 LLM Gateway，統一多模型 REST API 與成本追蹤

GitHubExplorer發現開源專案llmio，一個以Go實作的統一LLM閘道，提供加權負載平衡、可觀測性及費用追蹤。兼容OpenAI、Anthropic與Gemini等介面，支援流式與非流式轉接，並內建管理介面。此專案能幫助開發者以單一服務整合多家模型，簡化部署與監控流程。