成本感知推論

深度分析

Brick 多模態路由器：六維能力向量實現成本感知 LLM 調度

本報導深入解析來自 arXiv 的 Brick 系統，該路由器以六維能力向量結合查詢難度估計，將每筆請求指派至最具成本效益且能正確回應的語言模型。