分類器導向路由架構：降低LLM合規成本與延遲
受規範產業的LLM需同時兼顧合規與成本。研究以編碼分類器先行評估查詢，將含個資的請求路由至本地模型，簡單查詢則使用小型快速模型。測試顯示延遲減少39%、成本降低最高52%，且生成吞吐提升至每秒200字元，分類器準確度99.2%，確保合規部署可行。
背景與挑戰
在金融、醫療等受規範產業，大型語言模型必須同時滿足合規要求與成本效益。傳統做法將所有查詢送至單一大型模型，不僅耗盡GPU資源，也缺乏地理路由機制，導致個人可識別資訊（PII）可能跨境傳輸。
分類器導向路由架構
研究提出在解碼階段之前加入一個訓練好的編碼分類器。該分類器先評估每筆查詢的複雜度與資料敏感度，然後將請求路由至尺寸合適且位於適當地理位置的模型。含PII的查詢會在任何LLM運算前就被導向本地端點，從根本避免資料居留違規。
效能驗證
在600筆測試查詢中，該架構實現了39% 中位數延遲下降，依查詢分布可節省33%至52% 成本，生成吞吐提升至每秒122~200個字元（基線為50~64）。分類器本身的推論開銷僅7毫秒，準確率達99.2%，PII召回率接近100%。
結論
預先分類的方式證明是實現合規設計（compliance‑by‑design）的大型語言模型部署的可行路徑，兼顧安全、效能與成本。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
