Sophrosyne:降低 Text2SQL 探索過度的智慧資料系統介面
研究指出,Text2SQL 代理人在使用細粒度 API 時常會過度探索,導致查詢不準確。Sophrosyne 透過在 API 回應加入指示,引導代理人聚焦相關結構,成功將過度探索降低 4.6 倍,提升正確率約 12.4%。此方法為提升 LLM 生成 SQL 的效能提供新思路。
Text2SQL 代理人利用大型語言模型(LLM)將使用者的自然語言需求轉換成 SQL 查詢,過程中會先透過工具呼叫探索資料系統,取得結構資訊再組合查詢。然而,為確保安全與存取範圍,資料系統通常以明確的 API 介面提供資訊,這些 API 可分為粗粒度與細粒度兩類。
細粒度 API 的雙刃劍
大多數資料系統採用細粒度 API,能返回單一資料表、欄位或索引的詳細描述。雖然資訊完整,但代理人在探索時會過度呼叫 API,將大量不相關的 schema 元素納入考量,最終產生不正確的 SQL。
Sophrosyne:指引式 API 回應
為抑制過度探索,研究團隊提出 Sophrosyne,在 API 回傳中加入「指示」(directives),告訴代理人哪些結構是當前需求的關鍵,哪些可忽略。指示以簡短文字描述或布林標記形式呈現,讓代理人在後續呼叫中聚焦於相關資源。
實驗結果
在多個公開資料庫測試時,加入指示的 Sophrosyne 環境使代理人的 API 呼叫次數下降 4.6 倍,SQL 生成的正確率提升約 12.4%(約 4 個百分點)。此證實限制探索範圍是提升 LLM 驅動查詢效能的關鍵。
意涵與未來方向
研究顯示,資料系統在設計 API 時需在資訊完整性與探索成本之間取得平衡。未來可進一步探討自動產生指示的機制,或結合使用者意圖預測,以更動態地調整 API 回應,提升各類 LLM 應用的準確度與效率。
延伸閱讀
- MADP 多代理流水線與PFTFI:以LLM與人員回饋提升文件擷取準確度
- 狀態驅動編排(SDOF):結合意圖路由器與 SkillRegistry 的合規防線
- 整合MPHA與ACSE的IFPV框架:生成式作戰規劃到高擬真驗證閉環
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。