多租戶治理

Rust

SMG（Shepherd Model Gateway）：Rust 實作的 LLM 路由、WASM 擴充與多租戶治理

ShepherdModelGateway（SMG）是一個跨引擎的開源LLM入口，支援多種後端與gRPC管線。它引入KV快取感知路由、對話歷史與tokenization快取等做法，能降低延遲並優化資源分配，對企業多租戶部署有實際影響。有助於整合本地與雲端推理。