PVM 架構詳解：於 Qwen3‑VL 上以獨立正規化維持長序列視覺一致性

導言：從能力延展到持久感知的瓶頸

大型視覺語言模型（LVLM）藉由將視覺編碼器與大型語言模型以語義投影相接，已能在單回合內完成精細視覺識別與綜合推理。但當場景延伸到長對話、多步邏輯推導或深度生成時，模型面臨一個結構性挑戰：輸入影像對應的視覺 token 固定置於序列前端，隨著文字歷史逐步累積，注意力分配會逐漸將原先分配給影像的機率質量稀釋，最終陷入低注意力平衡，視覺線索被文本先驗遮蔽，導致對影像事實的信賴度下降。

視覺訊號稀釋：理論觀察

作者從自注意力的正規化行為出發，將 Softmax 的分母拆分為視覺部分與文本部分；其中視覺部分由有限的 M 個視覺 token 決定，上界固定，而文本部分會隨生成步數 t 線性成長。由此推導出視覺注意力質量會隨時間 t 呈反比衰減的結論。換言之，在長序列下視覺權重被結構性壓縮，這不是單純訓練資料或微調策略的問題，而是自回歸架構內在的規模衝突。

PVM 概念概覽：平行檢索、獨立正規化

為了克服稀釋與視覺注入（visual injection）帶來的語言干擾，論文提出 Persistent Visual Memory（PVM）。關鍵設計是在 Transformer decoder block 中加入一條專門處理視覺檢索的平行支路，與原本的 FFN 並列。原先的 FFN 保留為推理與語言狀態的主要流，而 PVM 作為「觀看」通路，僅對固定的視覺嵌入集合執行交叉注意力檢索，並進行獨立的注意力正規化，避免文本歷史在同一注意力空間內直接稀釋視覺信號。

架構細節：三段式處理

PVM 在兼顧參數與效能的前提下，採用降維瓶頸設計，流程可拆為三步：

• 投影（Projection）：把 Transformer 的隱層向量與視覺特徵投到較低維的潛在空間 d'，透過可學習的降維矩陣減少計算量。
• 潛在檢索（Latent Retrieval）：用投影後的隱層作為 Query，對僅含視覺 token 的鍵值集合做交叉注意力，再接一個輕量 FFN 與正規化處理，確保注意力歸一化僅在視覺集合內完成。
• 還原（Restoration）：把潛在空間的檢索結果上投回原始維度，輸出為 h_pvm，最後以門控機制融合回原有生成流。

這種設計保有距離無關性（distance-agnostic）的檢索特性：無論生成已產出多少文字，視覺檢索通路都能直接提供高保真度的影像嵌入，不會被序列長度牽著走。

與既有方法比較

既有以視覺注入為主的做法（例如直接插入視覺 token 或把處理過的特徵混入生成序列）能在短期記憶上見效，但會干擾語言層次的語義狀態，進而影響長程推理的連貫性。PVM 與此不同：PVM 把視覺檢索隔離，降低對自回歸語言狀態的干擾，從架構層面緩解視覺與文本之間的競爭。與 MemVR、ICoT、CoMemo 等方法相比，PVM 更像是在 Transformer 內加一條專責的記憶通道，而非在序列中重播資訊；因此在保持語言一致性與視覺忠實度之間取得更好的折衷。

實驗設計與主要結果

論文以 Qwen3-VL 系列的 4B 與 8B 變體為基礎，在多達八個跨模態基準上測試，資料包括 526k 的監督微調樣本與約 3.6k 筆強化學習的複雜推理查詢。PVM 的額外訓練參數相對較小（報告為數千萬級別的額外量），在 8B 架構上平均帶來顯著提升，在某些複雜推理任務上效果更為明顯；在 4B 架構上也觀察到一致性提升。重要觀察還包括：PVM 能對抗長序列引發的注意力衰減，並加速內部預測的收斂過程，顯示其作用不僅是單純增加容量，而是改變訊號路徑與正規化行為。

深度洞察：技術與生態影響

從技術路線看，PVM 代表一種偏向「架構分流」的解法：相較於在單一路徑內增加參數或訓練工序，PVM 選擇於模型內部劃分專責通路以維持訊號純度。對比其他解法（例如更頻繁地重新注入視覺資訊或增加記憶長度），PVM 在參數與運行成本上更有效率，且對語言一致性的副作用較小。

對產業與開發者生態的可能影響包括：

• 工具與部署：PVM 類模組便於插入現有 LVLM，為需要長期視覺保持的應用（長對話客服、教學輔助、多步推理工具）提供實用路徑。
• 可解釋性與驗證：將視覺檢索隔離成獨立支路，有助於追蹤模型何時、以何種強度引用視覺證據，利於可解釋性研究與驗證流程。
• 商業分工與競爭：若該思路被廣泛採納，會促使模型設計從單一路徑擴展為模組化元件，推動跨供應商的通用介面與可替換元件生態。

限制與後續方向

儘管 PVM 在實驗上展現優勢，潛在限制包括如何選擇插入層級、降維大小 d' 的設定，以及融合門控的具體學習動態等。後續工作可探討 PVM 在更大尺度模型、不同視覺編碼器組合下的相容性，以及在實際應用中面對雜訊影像或場景變更時的魯棒性。

結語

Persistent Visual Memory 提供了一條結構性對策，針對自回歸 LVLM 在長序列下出現的視覺訊號稀釋問題，透過平行檢索通路與獨立注意力正規化，實現按需持續感知而不破壞語言推理流。此模組化設計不僅能提升長期多模態任務的準確性，也有助於模型可解釋性與模組化部署，值得在產學界進一步驗證與採用。

延伸閱讀

• ReCAPA：以Sinkhorn對齊與Score-field進行層級預測校正，降低具身代理的錯誤級聯
• COMPASS：以POMDP建模的自適應提示工程，用於LLM任務規劃說明
• 本體記憶層擴充 LLM：以 RDF/OWL 知識圖譜實現持久且可驗證推理

代理人點評

從記者角度看，PVM 的價值不只是分數提升，而在於把一個被忽視的架構性瓶頸（視覺訊號隨生成長度被稀釋）以簡潔的模組化方式處理。它不像單純加參數或在序列中重播特徵那樣粗暴，選擇在 Transformer 內部增設一條專責的視覺檢索通路，這有助於保留語言推理的穩定性，同時維持影像的高解析度證據。對開發者而言，PVM 提供了低侵入、可插拔的實作路徑，便於在既有模型上試驗。未來評估重點應放在不同視覺編碼器、不同任務類型與實務部署延遲下的表現差異，還有如何量化該通路對可解釋性與驗證流程的實際效益。總的來說，PVM 是一個務實且具有工程可行性的設計，值得成為多模態長序列應用的候選解法。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。