gpt_server

gpt_server

gpt_server：支援 vLLM、SGLang 等四大推理引擎的全功能 OpenAI 介面開源框架

gpt_server 以 fastchat 為基礎，提供 OpenAI 規範的 Chat、Embedding、Reranker、ASR、TTS 及 Stable Diffusion 服務，支援多後端加速與模型同端口排程，讓企業能以單一服務點快速部署多模態模型，提升開發與上線效率。