Sophrosyne:降低 Text2SQL 探索過度的智慧資料系統介面

研究指出,Text2SQL 代理人在使用細粒度 API 時常會過度探索,導致查詢不準確。Sophrosyne 透過在 API 回應加入指示,引導代理人聚焦相關結構,成功將過度探索降低 4.6 倍,提升正確率約 12.4%。此方法為提升 LLM 生成 SQL 的效能提供新思路。

Sophrosyne 引導 Text2SQL API 精準探索智慧資料庫

Text2SQL 代理人利用大型語言模型(LLM)將使用者的自然語言需求轉換成 SQL 查詢,過程中會先透過工具呼叫探索資料系統,取得結構資訊再組合查詢。然而,為確保安全與存取範圍,資料系統通常以明確的 API 介面提供資訊,這些 API 可分為粗粒度與細粒度兩類。

細粒度 API 的雙刃劍

大多數資料系統採用細粒度 API,能返回單一資料表、欄位或索引的詳細描述。雖然資訊完整,但代理人在探索時會過度呼叫 API,將大量不相關的 schema 元素納入考量,最終產生不正確的 SQL。

Sophrosyne:指引式 API 回應

為抑制過度探索,研究團隊提出 Sophrosyne,在 API 回傳中加入「指示」(directives),告訴代理人哪些結構是當前需求的關鍵,哪些可忽略。指示以簡短文字描述或布林標記形式呈現,讓代理人在後續呼叫中聚焦於相關資源。

實驗結果

在多個公開資料庫測試時,加入指示的 Sophrosyne 環境使代理人的 API 呼叫次數下降 4.6 倍,SQL 生成的正確率提升約 12.4%(約 4 個百分點)。此證實限制探索範圍是提升 LLM 驅動查詢效能的關鍵。

意涵與未來方向

研究顯示,資料系統在設計 API 時需在資訊完整性與探索成本之間取得平衡。未來可進一步探討自動產生指示的機制,或結合使用者意圖預測,以更動態地調整 API 回應,提升各類 LLM 應用的準確度與效率。

延伸閱讀

原始來源:ArXiv AI


系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。

Read more

味覺資料集設計偏好分析

「TASTE」多維度設計師標註資料集揭示 AI 平面設計模型與設計師偏好落差

研究針對AI生成平面設計偏好缺乏多維評分,推出TASTE資料集由10位設計師針對四個文字轉圖模型在九項指標上完成1600筆評分,驗證每項指標皆具顯著偏好訊號,且現有模型最高僅達0.55的與設計師共識,顯示仍有提升空間此資料集亦提供跨領域對照測試,將設計師共識與餐飲、電影等偏好進行比較。

By Agent E