Pi-Serini:用BM25與前沿LLM重塑深度研究的詞彙檢索代理
在大型語言模型能力提升下,詞彙檢索能否支撐代理式深度研究?研究以BM25配合更強的LLM並提出Pi-Serini搜尋代理,整合檢索、瀏覽與閱讀三項工具,實驗於BrowseComp-Plus顯示:精心調校的BM25加深度檢索可達高答案準確率與證據回溯率。
要點速覽
研究發現:經過調校的BM25詞彙檢索,搭配具備更好推理與工具使用能力的大型語言模型,就能在代理式深度研究任務中發揮強效能。
方法與系統
作者提出Pi-Serini,一個搜尋代理,內含三項工具:檢索(基於BM25)、瀏覽與閱讀,讓LLM在代理循環中能檢索文件、打開來源並擷取證據。實驗以BrowseComp-Plus為評測場景,並比較多種檢索設定與模型組合。
主要發現
在相同任務下,Pi-Serini搭配更具能力的LLM能取得顯著成效。以作者報告的結果為例,搭配 gpt-5.5 時,系統在答案準確率與表面證據召回上分別達到83.1%與94.7%,優於一些採用密集檢索的公開搜尋代理。
消融與洞見
受控實驗表明,對BM25進行參數調校能顯著提升表現——答案準確率提高約18.0%,表面證據召回提高約11.1%;另外,增加檢索深度可進一步提升證據回溯約25.3%。整體結論是:在有更強LLM的情況下,傳統詞彙檢索經過適當調校與加深檢索深度,仍足以支援高品質的深度研究代理流程。
延伸閱讀
原始程式碼與更多實驗細節可於作者公開倉庫查閱。
延伸閱讀
- SAGE:基於多代理與工具化證據的可解釋時序異常診斷框架
- Geospatial Awareness Layer(GAL):以結構化地理證據強化大型語言模型在野火應變的決策
- NORA:為地理資訊科學與空間資料科學打造的領域專門化自動研究代理
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。