Adaptive Tree-of-Retrieval(Adaptive ToR):複雜度感知的檢索樹,兼顧準確率與延遲
背景:多意圖自然語言理解需在準確度與運算效率間取捨。核心:提出Adaptive Tree-of-Retrieval,依查詢複雜度動態切換單步或樹狀檢索,並結合查詢分類、自適應分解、兩階段剪枝與去重加LLM重排序。影響:在NLU++上提升準確度並降低延遲與LLM使用。
Adaptive ToR針對多意圖檢索提出複雜度感知策略
研究指出,多意圖自然語言理解需要在高準確率與低延遲間取得平衡。Adaptive Tree-of-Retrieval(Adaptive ToR)依查詢複雜度動態配置檢索拓撲,避免單一深度設計的不足與固定分解所帶來的過度延遲。
系統架構與四大模組
系統整合四部分:一是查詢樹分類器,透過加權語言訊號計算查詢複雜度指數,將查詢分流到單步快速路徑或可調深度的樹狀路徑;二是樹狀檢索,遞迴分解複雜查詢為聚焦子查詢;三是自適應剪枝,採兩階段過濾──數值相似門檻先行,接著語意相關性評估以抑制指數級節點成長;四是重排序層,先去重再以全域大型語言模型進行重評分,提升產線效率。
評估與發現
在NLU++基準(銀行與旅館領域)測試,系統達到29.07%子集準確度與71.79%Micro-F1,相較固定深度基線相對提升9.7%,同時延遲下降37.6%、LLM呼叫減少43.0%、token消耗降低9.8%。分析顯示約26.92%的查詢可透過單步分流在平均2.45秒內回應,而隨檢索深度增加,token消耗可放大約4.9倍,驗證了以查詢複雜度分配資源的折衷優勢。
延伸閱讀
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。