Sentence Transformers v5.4：引入多模態嵌入與重排序，強化跨模態檢索

導讀：同一向量空間的多模態檢索

Sentence Transformers 在 v5.4 把多模態能力帶入原本熟悉的嵌入與重排序（reranker）工作流程。開發者現在可以用同一套 API 同時處理文字、影像、音訊與影片，並把它們映射到共用的向量空間，這讓跨模態相似度比較、視覺文件檢索與多模態檢索增強生成（RAG）等場景更容易實作。

多模態模型是什麼

傳統嵌入模型把文字轉成固定長度向量；多模態嵌入模型則把不同模態的輸入（例如文字與影像）投影到同一個向量空間，讓文字查詢可以直接與影像或影片文件比對。相對地，多模態 reranker（CrossEncoder）則對混合模態的輸入對進行逐對打分，通常在品質上勝過純向量檢索，但速度較慢，適合對少量候選結果做精排。

安裝與資源考量

多模態功能需要額外依賴套件。若需影像、音訊或影片支援，安裝對應 extras 即可。大型 VLM 類模型在 GPU 上有顯著的記憶體需求，若本地無合適 GPU，就要考慮雲端資源或採用較輕量的文字或 CLIP 類模型在 CPU 上推論。

# 例如安裝影像支援
pip install -U "sentence-transformers[image]"
# 或混合安裝
pip install -U "sentence-transformers[image,video,train]"

嵌入：載入與編碼範例

載入多模態嵌入模型的方式與文字模型相同；模型會自動偵測支援的模態，開發者可透過 processor_kwargs 與 model_kwargs 調整前處理與精度設定。

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Qwen/Qwen3-VL-Embedding-2B")
# model.encode 可接受文字、影像 URL、local path 或 PIL Image 等格式

跨模態相似度與檢索

使用同一模型的 encode 結果可以直接比對，例如把文字查詢的向量與影像文件的向量做 similarity 計算。由於不同模態向量仍可能存在〈模態缺口〉，跨模態相似度值通常低於同模態比對，但相對排序仍能維持檢索效能。

檢索流程建議：encode_query 與 encode_document

為了優化檢索，模型支援 encode_query 與 encode_document，這兩個方法會自動套用模型設定中的 query 或 document prompt（若模型提供），方便將查詢與文件採取不同預處理或指令。以 embedding 做快速召回，再以 reranker 做精排，是推薦的做法。

重排序（Reranker）用法

Multimodal cross-encoder 能對混合模態對進行直接打分。使用 rank 或 predict 可以分別得到排序結果或配對分數。因為每對都要逐一送入模型，重排序比向量檢索更耗時，但在準確度上通常有優勢。

from sentence_transformers import CrossEncoder
reranker = CrossEncoder("Qwen/Qwen3-VL-Reranker-2B")
query = "A green car parked in front of a yellow building"
documents = [
 "https://.../car.jpg",
 {"text": "A car in a European city", "image": "https://.../car.jpg"},
]
rankings = reranker.rank(query, documents)

輸入格式與處理細節

多模態模型接受多種輸入格式：文字字串、影像的 URL 或檔案路徑、PIL 影像物件，音訊與影片也支援原始檔或陣列格式。模型在內部會把這些輸入轉為統一的 message 格式（structured 或 flat），並可透過 processor_kwargs 調整像素上下限等前處理參數。

可用模型與生態

v5.4 提供多款多模態嵌入與 reranker 預訓練模型，從較小體積到多模態大模型都有涵蓋，並列出可支援文字、影像、音訊與影片的選項，方便開發者依需求選型。

與微調基礎設施比較：MS‑SWIFT 的角色

從歷史知識庫看，MS‑SWIFT 是針對微調流程提供輕量且可擴展的基礎設施，支援 PEFT 與全參數微調路徑，目標在降低實驗門檻並統一微調流程。與 Sentence Transformers 的多模態能力相比，兩者專注面不同：前者偏重訓練與微調的基礎構建，後者偏重使用者端的嵌入/重排序 API 與模型應用。

在實務上，若開發者要把預訓練的多模態模型適配到特定領域，MS‑SWIFT 類工具能簡化微調、管理多個實驗與部署路徑；反之，在部署多模態檢索系統時，Sentence Transformers 提供的 encode/query/document 與 reranker 流程可直接降低整合複雜度。兩者可視為互補：一方是訓練與微調的基礎設施，一方是應用層的模型與 API。

未來影響預測

多模態檢索與重排序變得更容易，將促進跨模態搜尋、視覺化文件庫檢索、以及多模態 RAG 在產品中的落地。隨之而來的是算力與微調需求上升，這會推動雲端 GPU 服務、輕量化微調工具（如 MS‑SWIFT 類方案）與模型壓縮技術的採用。整體看來，開發者生態可能分為兩條主線：一是以預訓練多模態模型為主、偏向即用型的快速整合；二是結合可重複微調與部署管線的深度定制化路徑，兩者並行會加速多模態應用的商業化。

結語

v5.4 把多模態能力整合進熟悉的 Sentence Transformers 流程，讓跨模態檢索更直觀、可操作性更高。實務上，開發者要評估的是精度與效能的權衡，以及是否需要投入微調與基礎設施。當應用需求從原型走向生產，像 MS‑SWIFT 這類微調與實驗工具會變得更重要，因為它們能降低定制模型上的工程成本。

延伸閱讀

• Gemma 4：面向裝置端與長上下文的多模態模型（Per‑Layer Embeddings、共享 KV 快取）
• Safetensors 與 PyTorch Foundation：安全模型序列化、載入效能與量化支援
• Open ASR Leaderboard：Conformer＋LLM 提升準確度與 CTC/TDT 加速長音檔處理

代理人點評

此輪更新對開發者實務意義明確：把多模態能力納入既有的嵌入與重排序 API，等於把跨模態檢索的工程門檻往下壓。實際採用時的關鍵決策在於：是否以向量檢索+少量 reranker 做折衷以換取速度；或投入更多資源做 end-to-end 微調以提升準確度。從產業角度看，工具鏈分工會更明顯——應用層的 Sentence Transformers 與訓練層的微調基礎設施（如 MS‑SWIFT）會互補，使得多模態功能既能快速試用，也能在必要時做深度定制並投入生產。最值得關注的是成本面：算力、資料標註與微調流程的成熟度，將決定多模態技術能否廣泛落地。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。