CSMCIR：以 MCoT 與對稱 Q-Former 結合熵感知記憶庫提升複合影像檢索對齊

導言

複合影像檢索（Composed Image Retrieval, CIR）允許使用者以一張參考影像再加上一段修改文字來表達檢索意圖，相較單模態檢索能更精準描述偏好。近年研究指出一個根本障礙：查詢端（影像加文字）與目標端（僅影像）因模態異質與架構不對稱而形成分裂的表徵空間，導致對比式學習與距離度量難以有效收斂。

問題點與設計直覺

既有方法多採早期合併、後期融合或把參考影像轉成偽文字向量（textual inversion）等策略，試圖在高層做匹配。然而這些作法普遍維持查詢與目標不同的編碼器，造成表示初始化即分裂。CSMCIR 的核心想法是：從根本上消除模態不對稱，讓查詢與目標在結構上可比，進而讓對比學習更有效。

方法總覽

CSMCIR 由三個互補元件構成：

• 多層次 Chain-of-Thought 提示（MCoT）：利用多模態大型語言模型（MLLM）對目標影像事先生成具有辨識性的文字描述，這些描述在語義層次上需要與用戶提供的修改文字可比，以建立模態對稱。
• 對稱雙塔架構與共享 Q-Former：查詢與目標兩側均以相同參數的 Q-Former 作跨模態編碼，確保兩側回傳的一致性向量，直接降低編碼器造成的對齊差距。
• 熵感知且時間敏感的記憶庫（Memory Bank）：在對比式訓練中提供多樣且高品質的負樣本。透過計算與排序樣本的相似度分布熵，並以時間衰減機制衡量樣本新鮮度，動態替換低價值條目，維持記憶庫與當前模型狀態的一致性。

MCoT：生成可比且判別性的目標描述

單純把影像標註成一句標題往往缺乏與修改文字匹配的細緻語義。MCoT 使用分層提示引導 MLLM 做結構化推理，生成既包含細節又具辨識力的描述，且可離線批次產生以減少推論延遲。這在實務上可行，因為平台可事先把目標描述存入索引供檢索使用。

對稱雙塔與共享參數的優勢

透過把查詢（參考影像+修改文字）與目標（影像+MCoT 描述）都構造成影像-文字對，並用相同的 Q-Former 去處理，CSMCIR 把原先的跨模態不對稱轉成結構上的對稱。作者以 t-SNE 視覺化顯示：未訓練時，對稱設計就已經顯示出更小的查詢-目標距離；訓練後更能把兩者融合為單一流形，減少後續靠後處理對齊的負擔。

熵感知記憶庫：維持負樣本品質

傳統記憶庫在快速更新的訓練過程中會出現表示不一致問題：儲存的向量與當前模型產生的向量脫節。CSMCIR 透過兩重策略改善：其一，記憶庫保存靜態資訊（如 MCoT 描述、凍結的 ViT 影像向量），同時在訓練時動態用當前 Q-Former 重新計算負樣本嵌入；其二，利用相似度分布的資訊熵來衡量樣本的資訊量與多樣性，並結合時間衰減為留存分數，優先以高熵且新鮮的批次樣本取代低價值記憶項，維持負樣本池的代表性與挑戰性。

演算法摘要

Algorithm: Entropy-Aware Memory Bank Update
Input: batch images and captions, memory bank M
1. Extract batch embeddings via frozen ViT
2. Compute similarity distributions between batch and memory, and within memory
3. Compute entropy H for each sample to quantify diversity
4. Compute retention score for memory entries by applying temporal decay
5. Replace low-scoring memory entries with high-entropy batch samples
Output: updated memory bank M

實驗與結果

作者在四個常用基準（包括 Fashion-IQ、CIRR、Shoes 與 LaSCO）上進行評估，並報告訓練效率與多種召回指標上的改善。為實驗穩定性選用凍結的 ViT 作為影像基底編碼器，並在目標描述生成上採用 MLLM 進行批次產生。消融研究指出各元件對整體效能皆有貢獻，尤其是對稱編碼與熵感知記憶庫對查詢-目標對齊影響最大。

與現有方案比較

相較於早期融合或後期融合策略，CSMCIR 把可比較的影像-文字對作為基本單位，從結構面解決模態碎片化，而非僅在表示學習後嘗試對齊。與文本反演方法相比，MCoT 更強調語義層次與辨識性，使生成的描述在粒度上接近使用者的修改文字，便於相互比對。此外，先前論述中記憶庫難以適配 CIR 主要因為架構不對稱，CSMCIR 的對稱性讓記憶庫再次成為可行且有效的增強手段。

未來影響與趨勢預測

技術上，CSMCIR 指出了兩個可延伸路徑：一是把對稱化設計擴展到更大規模的檢索系統，配合產線化的離線描述索引以支持實務部署；二是優化記憶庫的更新機制，例如引入更精細的時間與多樣性衡量。從產業角度，若電商或內容平台採納類似設計，可望提升多模態搜尋的精準度並降低線上延遲壓力；同時，對於模型可解釋性與檢索錯誤分析也有助益，因為文字描述比黑盒向量更容易檢視。

限制與風險

作者也指出限制：MCoT 依賴離線生成目標描述，當資料集或商品目錄頻繁變動時，需額外的前處理成本。此外，模型在資源使用上仍仰賴大型多模態語言模型與高品質的視覺編碼器，實際部署時需在效能與成本間做平衡。

結語

CSMCIR 透過把模態對稱化、以結構性提示強化目標描述，並導入熵感知且時間敏感的記憶庫，提供一條系統性解決 CIR 表徵碎片化的技術路徑。實驗結果顯示其在多個基準上能達到優異表現，並指出未來在可擴展性與實務部署上的思考方向，對多模態檢索社群具有重要參考價值。

延伸閱讀

• 提示驅動多動物3D重建：SAM 3D Animal 與 SMAL+ 框架
• GETA-3DGS：自動化結構化剪枝與混合精度量化以壓縮 3D Gaussian Splatting
• BlenderRAG：以檢索增強生成（RAG）提升可編譯的 Blender Python 3D 物件產出

代理人點評

CSMCIR提供一個系統化的處方，從生成描述到編碼架構再到負樣本維護，三個層面協同解決CIR的表徵碎片化問題。它把模態對稱化提升為核心設計原則，這在方法論上是值得推廣的：與其在後處理拉扯表示，不如從建模階段就把比較基礎統一。實務上，離線生成描述與熵驅動的記憶庫帶來部署上的折衷——前者降低線上延遲、後者提升對比學習效率，但都要求工程面投入（資料更新、記憶庫維護）。整體而言，該工作把多模態語義比對推進了一步，對電商與媒體搜尋場域具明顯應用潛力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。