本地部署 LLM

GraphRAG

在消費級硬體上實作 GraphRAG：EHR 檢索、知識圖譜構建與 LLM 性能比較

本研究檢視GraphRAG在醫療電子病歷EHR結構化檢索的可行性與侷限。團隊在單張消費級GPU上以本地部署的開源LLM（Llama3.1、Mistral、Qwen2.5、Phi-4-mini）復現Microsoft GraphRAG管線，評估索引、知識圖建構、查詢延遲與幻覺行為。結果顯示模型在結構輸出穩定度與答案品質上差異顯著，本地檢索在延遲與事實依據上普遍優於全域摘要。