GenDB 用 LLM 生成查詢程式碼,傳統資料庫引擎面臨挑戰

傳統查詢處理引擎因內部複雜性而難以擴展,開發新系統成本高昂。為解決此問題,研究團隊推出 GenDB,這是一款生成式查詢引擎,利用大型語言模型(LLM)代理自動生成針對特定數據、工作負載和硬體資源最佳化的查詢執行程式碼。早期原型適用於重複性高的模板化查詢,前期生成成本可透過多次執行攤銷,並經由模糊測試與人工檢查確保正確性。

機械臂持水晶稜柱折射珊瑚色光

從手動工程到程式碼生成

傳統查詢處理引擎需要持續開發與擴展才能支援新技術和使用者需求,有時甚至必須從零開始打造全新系統。然而,這些引擎因內部複雜性而難以擴展,建置新系統也需要大量工程資源與成本。為了解決這個問題,研究團隊展示了 GenDB,一款將查詢處理從手動工程轉向由大型語言模型(LLM)驅動的程式碼生成的生成式查詢引擎。

早期原型與混合架構

GenDB 的早期原型使用 LLM 代理生成針對特定數據、工作負載和硬體資源最佳化的查詢執行程式碼。這個原型特別適合重複性高的模板化查詢,因為前期的生成成本可以透過多次執行攤銷,而正確性則可經由廣泛的模糊測試與人工檢查來確保。對於臨時性的查詢,GenDB 可與傳統資料庫管理系統(DBMS)以混合架構協作:DBMS 處理一次性查詢,而 GenDB 則加速常見的 SQL 模板。

展示與效能表現

在展示中,使用者可以視覺化且互動式地觀察 GenDB 如何分析工作負載、設定檔硬體資源與底層數據、產生查詢計畫、基於這些資訊生成程式碼,最後透過最佳化器迭代達到正確且高效的執行。此外,使用者也能透過視覺檢查與分析,獲得定性見解,了解為何 GenDB 生成的程式碼在 TPC-H 以及一個為減少 LLM 訓練數據潛在資料外洩而設計的新基準測試中,表現顯著優於現有頂尖查詢引擎。最後,使用者還可以上傳自己的數據與查詢,探索 GenDB 搭配不同 LLM 與查詢模式的表現。

延伸閱讀

原始來源:ArXiv AI


系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。

Read more