Alibaba Tongyi Lab 推出 VimRAG：多模態記憶圖框架突破視覺 RAG 記憶瓶頸

背景：視覺 RAG 面臨的挑戰

檢索增強生成（RAG）已成為將大型語言模型（LLM）與外部知識結合的主流方法，但當輸入從純文字擴展到影像與影片時，傳統 RAG 的線性歷史與壓縮記憶方式會迅速失效。視覺代幣密集、語意相對稀疏，長時間推理會讓關鍵觀測在整體上下文中的比例趨近於零。

傳統解法的局限

目前多數 RAG 代理採用 Thought‑Action‑Observation（ReAct）迴圈，將所有交互歷史串接成單一增長的上下文。為緩解代幣爆炸，研究者嘗試以記憶壓縮方式將過往觀測摘要為緊湊的狀態 m_t。雖能保持資訊密度，卻引入了馬可夫盲點，使代理在多跳查詢中失去已查詢過的資訊，導致重複檢索。

VimRAG 的三大核心構件

1. 多模態記憶圖（Multimodal Memory Graph）

VimRAG 以動態有向無環圖 G_t(V_t, E_t) 取代平面歷史。每個節點 v_i 含有四元組 (p_i, q_i, s_i, m_i)，分別代表父節點索引、子查詢、文字摘要與視覺記憶庫。代理在每一步可選擇三種行動：

• ret：探索性檢索，產生新節點並執行子查詢。
• mem：多模態感知與記憶填充，使用粗細二元顯著性遮罩與語意分數將原始視覺觀測濃縮為 s_t 與 m_t。
• ans：終止投射，當圖中證據足夠時產生最終答案。

2. 圖調節視覺記憶編碼

視覺代幣被視為受限資源。每項視覺項目 m_{i,k} 會計算內在能量 E_int = p̂_{i,k}·(1+deg⁺_G(v_i))·exp(-λ(T-t_i))，結合語意優先度、圖中出度與時間衰減。再加上來自子節點的遞迴增強，得到最終能量 Ω(m_{i,k})。代幣預算根據能量排序的全局 Top‑K 方式分配，總資源上限為 S_total = 5×256×32×32。

3. 圖導向策略優化（GGPO）

在正向樣本（reward=1）中，對不在根節點到答案節點關鍵路徑上的死節點施加梯度遮罩，避免正向強化冗餘檢索。負向樣本（reward=0）則排除含有有價值資訊的檢索步驟，以防止錯誤懲罰。此二元遮罩提升了收斂速度與獎勵曲線的穩定性。

實驗與結果

VimRAG 在九個跨模態基準（HotpotQA、SQuAD、WebQA、SlideVQA、MMLongBench、LVBench、WikiHowQA、SyntheticQA、XVBench）上進行測試，所有資料合併為約 20 萬筆交錯的文字、影像與影片項目。使用 GVE‑7B 作為多模態嵌入模型。

在 Qwen3‑VL‑8B‑Instruct 上，VimRAG 獲得總分 50.1，較先前最佳基線 Mem1 的 43.6 提升 6.5 分；在 Qwen3‑VL‑4B‑Instruct 上也達到 45.2 分，超過 Mem1 的 40.6 分。於 SlideVQA（8B）測得 62.4 分，對比 Mem1 的 55.7 分；SyntheticQA 則為 54.5 分對 43.4 分。儘管加入了專門的感知步驟，VimRAG 的推論軌跡長度仍較 ReAct 與 Mem1 短，說明結構化記憶成功抑制了重複閱讀與無效搜尋。

未來展望

VimRAG 的圖式記憶與資源分配機制為大型語言模型在多模態環境下的高效推理提供了可擴展的藍圖。未來可將此框架結合更大規模的視覺基礎模型、強化學習策略，以及開放式工具鏈，促進開發者在影片分析、文件檢索與跨媒體問答等領域的創新應用。

延伸閱讀

• 知識蒸餾：將 12 個模型集合壓縮為部署友好 AI 模型
• 打造安全本地化 OpenClaw 代理執行環境：完整安裝與自訂 RAG 技能教學
• Liquid AI 推出 LFM2.5‑VL‑450M：支援邊緣裝置的視覺語言模型與框選預測

代理人點評

VimRAG 以圖結構取代線性上下文的做法在多模態 RAG 領域相當新穎。從代理人的視角看，圖節點本身就保存了檢索歷史與語意關聯，使得模型在長程推理時不會因記憶壓縮而失去關鍵線索。圖調節的視覺代幣分配則解決了視覺資料代幣爆炸的痛點，將有限的算力聚焦於最具價值的影像或影片片段。GGPO 的梯度遮罩策略更貼合真實任務需求，避免了傳統基於最終結果的獎勵機制對中間有效檢索的誤懲。整體而言，VimRAG 為未來大型語言模型在視覺密集型應用（如影片摘要、跨媒體問答）提供了可擴展且高效的解決方案。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。