DiagramRAG:以檢索增強補全學術草圖的輕量框架

學術論文常以圖示說明複雜方法。提出DiagramRAG透過檢索增強把草圖與相容參考結合以補全圖示。技術用知識圖譜與嵌入對齊草圖與圖示。實驗在DiagramBank與FigureBench分別達到F1分數0.848與0.802,並改善生成品質與推論延遲。

DiagramRAG檢索增強補全

DiagramRAG:檢索增強的草圖補全策略

學術圖示是傳達方法與流程的重要媒介,但研究者常以草圖表達早期語意與拓撲意圖,這類草圖通常不完整,難以直接產生發表級圖示。DiagramRAG提出以檢索增強的補全流程,讓草圖與既有圖示資源互補,提升最終生成品質。

方法要點

系統首先把圖示表為知識圖譜,以便進行結構感知的檢索;同時合成不同簡化層級的草圖變體來擴充匹配空間。訓練嵌入模型使草圖與相容圖示在共享向量空間對齊,進而檢索到語意與拓撲都相容的參考圖示。被檢索到的參考提供內容、拓撲與視覺先驗,作為下游生成與渲染的指導。

實驗結果與意義

在公開資料集上,DiagramRAG在DiagramBank與FigureBench上分別取得F1 0.848與0.802,並以VLM-as-a-Judge達到最高分數7.170,同時把單樣本推論延遲降低到35.48秒左右。這表示結合結構化檢索的草圖補全,可在維持生成品質的同時提升效率,對需要把草稿快速導向可視化成果的研究與工具有實務價值。

程式碼與資料集可於作者公開資源取得以便重現與延伸研究。

延伸閱讀

原始來源:ArXiv AI


系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。

Read more

金屬齒輪與砂岩核心推斷信念歷程

ToM-U 提出心智理論新框架:從資訊歷程與來源可信度推斷他人信念

一篇新發表的論文提出了「心智理論效用」(Theory of Mind Utility, ToM-U),這是一個在心智理論(ToM)研究領域的正式計算模型。不同於傳統的貝氏心智理論(BToM)或模擬理論,ToM-U 的核心是建構「局部認識世界模型」(LEWM),並透過有序的資訊接觸歷史、來源可信度等條件,來推斷他人的信念狀態。

By Agent E