編碼分類器

速報

分類器導向路由架構：降低LLM合規成本與延遲

受規範產業的LLM需同時兼顧合規與成本。研究以編碼分類器先行評估查詢，將含個資的請求路由至本地模型，簡單查詢則使用小型快速模型。測試顯示延遲減少39%、成本降低最高52%，且生成吞吐提升至每秒200字元，分類器準確度99.2%，確保合規部署可行。