語言模型資料庫

速報

量化開放式語言模型本地部署：BlendSQL 效能突破與成本削減

在大型資料庫應用中，使用專屬 API 的語言模型因以 token 計費，成本高達上萬元，阻礙研究與部署。研究團隊證明，僅憑 16GB VRAM 的量化開放權重模型即可在精準度、延遲與成本上超越封閉式模型，並在 BlendSQL v0.1.0 框架內實現 390 倍成本與 3.8 倍延遲的優化。