SLIDERS:以大型語言模型自動化系統性文獻回顧的證據表生成
系統性文獻回顧需大量蒐集與合成證據,手工製表耗時。SLIDERS 用大型語言模型自動生成證據表,抽取結構化資料與全文摘錄,並以自動對齊代理整合跨文件資訊、解決衝突,支援自然語言追問。測試在600萬至1100萬詞語料上正確率近90%,追問正確率分別為77.9%與58.3%。
背景
系統性文獻回顧是金融、社會科學等領域的基礎研究方法,需要針對特定研究問題,從龐大的文件集合中徹底蒐集與合成證據。傳統上,研究人員必須手動建立證據表,過程繁瑣且耗時。
SLIDERS 方法概述
SLIDERS(Systematic Literature Integration via Data Extraction and Reconciliation System)是一套以大型語言模型(LLM)為核心的自動化流程,能自動組裝針對研究問題量身訂製的證據表。其主要功能包括:
- 從文件中抽取結構化資料。
- 擷取全文摘錄,作為直接證據或結構化資料的來源說明。
- 自動證據對齊代理:自動產生程式碼,分析並對齊抽取的證據,彙整跨文件的斷片資訊,解決摘錄間的不一致,將重疊的發現合併成一致的證據表。
- 支援自然語言的後續提問,讓使用者能進一步探索已組裝的證據。
實驗與成效
研究團隊在三個系統性回顧類型的任務上,於規模介於 600 萬至 1100 萬 token 的大型語料庫進行測試。SLIDERS 在所有基準上皆超過最佳的既有模型,整體正確率接近 90%。此外,針對兩項新設的後續分析基準,SLIDERS 能正確回答 77.9% 與 58.3% 的提問,展現了在深度探索證據時的可靠性。
意義與未來方向
SLIDERS 的出現顯示大型語言模型不僅能協助資訊檢索,更能在證據整合與分析層面提供完整的自動化解決方案。未來可望將此技術擴展至其他需大量文獻合成的領域,提升研究效率與結果的可重現性。
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。