MatrixHub
MatrixHub 企業級私有模型註冊庫：支援 vLLM、SGLang 與 P2P 分發
面對企業對 AI 模型權重管理與資料主權的需求，開源專案 MatrixHub 提供自架設的模型註冊庫解決方案。該系統透過與 Hugging Face 介面相容的代理機制，實現一次下載即可全叢集共用的快取策略，並支援 P2P 分發與直接到 GPU 的權重串流。這讓企業能有效降低頻寬壓力並在離網環境安全部署，強化 AI 基礎設施的自主權與管理效率。
SGLang
gpt_server
gpt_server：支援 vLLM、SGLang 等四大推理引擎的全功能 OpenAI 介面開源框架
gpt_server 以 fastchat 為基礎，提供 OpenAI 規範的 Chat、Embedding、Reranker、ASR、TTS 及 Stable Diffusion 服務，支援多後端加速與模型同端口排程，讓企業能以單一服務點快速部署多模態模型，提升開發與上線效率。
MatrixHub
MatrixHub：自建模型註冊與分發平台，支援 vLLM 與 SGLang 推理加速
開源專案MatrixHub主打自建AI模型註冊庫，為企業推理提供私有替代方案。它以HF相容代理為介面，採用Pull-once,serve-all快取、P2P與NetLoader直接GPU串流，並支援離網交付與多區域非同步複製。此策略可降低部署延遲並提升治理與可用性。