多層驗證

速報

VIA-SD：多層路由驗證加速推測解碼

為降低大型語言模型推論成本，研究者提出 VIA‑SD 多層路由驗證架構。系統在推測解碼時先以高信心直接接受，對中等信心的 token 使用輕量子模型重新生成，最後仍交給完整模型驗證。實驗顯示此方式可將拒絕率降低 0.10‑0.22，並提升 10‑20% 解碼速度，兼容現有框架。