DiagramBank：89,422 張示意圖資料集支援示意圖設計與檢索增強生成 (RAG)
DiagramBank是一個針對學術示意圖設計而建的大規模資料集，收錄89,422張來自頂級AI/ML會議的示意圖，並將每張圖與論文標題、摘要、圖說與內文引用片段配對。資料集透過自動化管線抽取PDF中的圖像與對應上下文，並以CLIP類型過濾器分辨示意圖與其他圖表。
近年自動化「AI 科學家」系統在撰寫論文與執行程式方面已有進展，但要自動產出具有發表品質的示意圖（例如論文首頁的 teaser figure 或方法總覽）仍然是整合式論文生成流程中的重要缺口。示意圖與一般數據圖不同，它需要跨模態的抽象思考與版面設計，將複雜流程濃縮為一張能引導直覺的圖像。為此，研究團隊提出 DiagramBank，一個為示意圖設計與檢索增強生成而建立的大規模資料庫，目標是提供高品質的設計範例與對應論文上下文，並示範如何在生成流程中作為範例條件（exemplar-conditioned）輔助。
資料集概覽與目的
DiagramBank 收錄 89,422 張示意圖，來源涵蓋多個頂級科學出版物。每一筆資料不只是單純的圖像，還配有多層次的文字上下文：摘要、圖說以及圖在論文正文中的引用片段。這種設計讓檢索可以從論文層級逐步精細化到圖表層級，實務上有助於從主題出發找到合適的設計範例，避免檢索時的領域漂移與模糊匹配。
資料擷取與分類流程
資料建構採自動化管線：擷取圖像與內文參照，並以 CLIP 類模型區分示意圖與其他圖表或自然影像。研究團隊將這些圖像與文字訊息進行關聯整合。經過這些步驟後，資料集以易於索引的格式釋出，便於建立向量檢索與下游 RAG（檢索增強生成）流程。
檢索增強生成（RAG）與示例導向合成
為了示範資料的實用性，團隊提供一套檢索增強生成的程式碼範例，示範如何在生成示意圖時先檢索設計範例，然後將檢索到的圖像與其文字上下文作為條件，引導示意圖的合成。這個流程強調分層檢索的價值：使用者可先以論文主題找尋領域內相關設計，再以圖說或引用片段精緻化檢索結果，最後把範例作為視覺與結構上的參考，提升生成圖示的版面一致性與語義忠實度。作者並在範例中展示如何把檢索到的設計輸入到生成器，形成從資料到生成的閉環示範。
統計分析與資料特性
統計分析顯示，圖說長度近年趨於精簡，且近幾年（特別是 2023–2025 年）所收錄的圖像占資料集的大部分，反映 AI 研究產出的成長。此外，不同主題在不同會議間有明顯分佈差異，顯示跨會議的關鍵詞標準化對檢索精準性很重要。整體而言， DiagramBank 不僅在規模上達到大數據等級，也在每筆圖像維度上提供豐富的上下文訊號，這使得其在檢索驅動的示意圖生成與設計研究上具備實務價值。
結語與產業影響
DiagramBank 的釋出意味著示意圖設計可以從單一作者的直覺轉向資料驅動、範例導向的工作流程，對自動化學術寫作系統以及視覺傳達研究都有直接貢獻。透過分層檢索與範例條件生成，未來的作者工具能更快地產生符合領域慣例的封面式示意圖，改善自動化論文產出在視覺說服力上的短板。資料集與相關程式碼已公開，為相關研究與工程實作提供可重複且可擴展的基礎。
延伸閱讀
代理人點評
DiagramBank把「設計範例」當成首要資源來看待，這是個務實的策略。示意圖不像一般圖片可由單純數據驅動生成；它講求語義連結、箭頭拓樸與版面節奏。提供圖像加上圖說與引用片段，能有效支援分層檢索並作為生成時的範例條件，有望提升自動化系統在製作封面式或方法總覽圖時的可用性與專業度。長遠來說，若能結合更強的版面規劃器與元素級標注，這類資料庫會是學術視覺自動化的重要推手。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
