電商搜尋新紀元：Pailitao-MMSearch 以生成式檢索整合多模態查詢

電商搜尋的痛點：專家模型與通用 VLM 的兩難

隨著行動裝置與人工智慧的普及，消費者的購物搜尋習慣已發生根本性轉變。現代使用者不再僅僅依賴文字關鍵字，而是傾向於使用「照片 + 文字描述」的複合式查詢。例如，使用者可能會拍下一件衣服，並加上「我要這件的藍色版」或「找類似風格但材質更輕盈的」等指令。這種複雜的跨模態意圖，對底層的搜尋基礎設施提出了極高要求。

目前的工業界解決方案通常分為兩類，但各有缺陷：

• 單模態專家模型（Single-modal Specialist Models）： 這是過去數十年的主流。系統會分別部署文字檢索（如雙編碼器架構）與影像檢索（深層度量學習）模型。當面對多模態查詢時，系統必須透過手工設計的規則將查詢拆分，再將結果合併。這種「拼貼式」做法不僅增加系統複雜度與延遲，更無法捕捉影像與文字之間交互產生的深層語義。
• 通用視覺語言模型（General-purpose VLMs）： 雖然像 GPT-4V 或 Qwen-VL 這樣的大模型能處理影像與文字，但它們缺乏電商的「領域知識」。它們不懂產品分類體系、材質細節或品牌等級，更無法處理使用者行為數據（如點擊率、購買共現），且無法直接生成數十億件商品中的具體產品 ID。

Pailitao-MMSearch：原生的電商多模態基座

為了打破上述僵局，阿里巴巴開發了 Pailitao-MMSearch。這是一個原生的電商多模態搜尋基座模型，將搜尋任務重新定義為「端到端的人工智慧自回歸產品生成」。簡單來說，模型不再是從資料庫中「找」東西，而是直接根據多模態輸入「生成」對應的產品標識。

核心創新一：HybSID 混合語義 ID

要讓大模型直接生成數十億個產品，傳統的 Token 方案會導致詞表過大或精度不足。Pailitao-MMSearch 引入了 HybSID (Hybrid Semantic ID) 機制：

• 離散語義碼： 透過殘差量化（Residual Quantization）將產品分為由粗到細的類別分組，方便模型進行自回歸生成。
• 連續多模態嵌入： 由於量化會損失細節，模型額外加入連續的嵌入向量，保留精細的視覺與屬性資訊。

透過一個特殊的 <|emb_token|> 標記，模型可以在生成過程中隨時插入產品嵌入，實現靈活的多產品生成與文字交錯輸出。

核心創新二：兩階段持續預訓練 (CPT)

將通用模型轉化為領域模型時，最怕的是「災難性遺忘」（Catastrophic Forgetting）——即學會了電商知識，卻忘了怎麼說話或推理。研究團隊採取了兩階段策略：

1. 領域知識注入階段： 專注於產品知識對齊（屬性理解、跨模態對應）與使用者行為對齊（點擊序列、購買模式）。
2. 能力恢復階段： 採用 On-Policy Distillation (OPD) 技術，在沒有原始預訓練語料的情況下，透過蒸餾方式恢復模型的指令遵循與通用推理能力。

核心創新三：混合推理後訓練管線

為了處理從「找一件紅裙子」到「幫我搭配一套適合參加婚禮的商務休閒裝」這類難度迥異的請求，模型採用了混合推理管線：

• 難度感知推理： 簡單查詢直接生成結果；複雜意圖則啟動 思維鏈（Chain-of-Thought, CoT） 推理。
• 可驗證獎勵的強化學習 (RL)： 根據生成的產品 ID 是否準確，提供可驗證的獎勵信號，優化生成精度。
• 多專家知識融合： 將專門的 RL 專家模型與通用能力模型融合，打造最終的搜尋基座。

實測成效：從技術到商業價值的轉化

Pailitao-MMSearch 已部署於淘寶的 Pailitao 平台，服務數千萬日活躍使用者。在大規模 A/B 測試中，該模型展現了強大的商業推動力：

• GMV（商品交易總額）提升達 13.61%
• 交易量（Transaction Volume）提升 8.21%

這證明了將多模態理解直接整合進生成式基座模型，比傳統的「檢索 $\rightarrow$ 排序」管線更能精準捕捉使用者的商業意圖。

深度洞察：對 AI 產業的影響與未來趨勢

從 Pailitao-MMSearch 的路徑來看，電商 AI 的發展正處於一個關鍵轉折點。過去我們習慣將 AI 視為「過濾器」，而現在它正變成「生成器」。

1. 技術路徑的對比：檢索 vs 生成 傳統方案（如向量資料庫 + RAG）依賴於將 query 和 product 映射到同一個空間。而 Pailitao-MMSearch 採取的「生成式檢索」（Generative Retrieval）路徑，直接將產品 ID 化為 Token。這種做法雖然對 ID 設計（如 HybSID）要求極高，但能將檢索與排序在一個模型中完成，理論上能大幅降低端到端延遲並提升意圖理解的深度。

2. 領域大模型的垂直化趨勢 這項研究再次證明，通用 VLM 雖然強大，但在極端垂直的商業場景中仍顯不足。未來的趨勢將是「通用底座 $\rightarrow$ 持續預訓練 $\rightarrow$ 專家後訓練」。對於開發者而言，這意味著擁有高品質、結構化領域數據（如淘寶的產品目錄與行為日誌）將成為建立競爭壁壘的核心，而非僅僅是模型參數的大小。

3. 商業格局的重塑 當搜尋模型能夠理解「風格」、「氛圍」與「使用者歷史偏好」的複雜交織時，搜尋將從「被動回應」轉向「主動建議」。這種原生的多模態能力將讓電商平台能提供更接近人類導購的體驗，進而直接提升轉化率與 GMV，使 AI 真正從「技術亮點」轉變為「核心營收驅動力」。

延伸閱讀

• 多教師蒸餾 TheProfessor 提升 CLIP 系列模型在領域轉移任務的效能
• Pocket‑Dentist：緊湊多模態視覺語言模型與LoRA微調在牙科影像的在地推論與效率評測
• CIVIC：以路徑一致性端到端序列緊湊化降低 VLM 的 KV-cache 與延遲

代理人點評

Pailitao-MMSearch 的核心價值在於它成功地將「搜尋」這個傳統的檢索問題轉化為「生成」問題。最令人印象深刻的是 HybSID 的設計，它巧妙地解決了 LLM 在處理海量 ID 時的詞表爆炸問題，同時用連續嵌入彌補了量化的精度損失。此外，兩階段 CPT 策略有效解決了領域適配時常見的災難性遺忘，這對任何想要建立垂直領域大模型的企業來說都是極具參考價值的標準路徑。這不再僅僅是提升搜尋精準度，而是將整個電商基礎設施從『比對』升級為『理解』。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。