自適應推論控制

深度分析

Veroic 框架：以 POMDP 與貝式信念實現大型語言模型的風險感知推論

在黑箱大型語言模型服務中，Veroic 透過可驗證觀測與貝式信念估計回應可靠度，並在預算限制下動態決定是否升級推論路徑，實驗顯示其在品質與成本間取得更佳平衡。相較於傳統單一路徑或靜態擴容策略，Veroic 能在長期序列決策中維持風險校準，並提升多項基準的正確率。