MatrixHub

MatrixHub

MatrixHub：自建模型註冊與分發平台，支援 vLLM 與 SGLang 推理加速

開源專案MatrixHub主打自建AI模型註冊庫，為企業推理提供私有替代方案。它以HF相容代理為介面，採用Pull-once,serve-all快取、P2P與NetLoader直接GPU串流，並支援離網交付與多區域非同步複製。此策略可降低部署延遲並提升治理與可用性。