Qwen3‑VL 系列多模態嵌入與重排序模型詳解：安裝、使用與效能比較

什麼是多模態模型？

傳統的嵌入模型只能把文字轉成固定長度向量，而多模態嵌入模型則會把文字、影像、音訊或影片等不同類型的輸入映射到同一個向量空間，讓跨模態的相似度計算變得可行。類似地，傳統的重排序模型（Cross Encoder）只處理文字對，新增的多模態重排序模型可以同時評分文字與影像、音訊或影片的組合。

安裝方式

多模態模型需要額外的依賴，根據要支援的媒介安裝對應的 extras：

pip install -U "sentence-transformers[image]"
pip install -U "sentence-transformers[audio]"
pip install -U "sentence-transformers[video]"
# 如需同時安裝多種媒介
pip install -U "sentence-transformers[image,video,train]"

若使用 GPU，Qwen3‑VL‑2B 需要至少 8 GB VRAM，8 B 變種則約 20 GB。

多模態嵌入模型使用範例

載入模型與文字、影像混合編碼的方式與純文字模型相同：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Qwen/Qwen3-VL-Embedding-2B")

編碼影像時可以直接傳入 URL、檔案路徑或 PIL Image 物件：

img_embeddings = model.encode([
 "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg",
 "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg",
])
print(img_embeddings.shape) # (2, 2048)

跨模態相似度計算

將文字與影像向量放在同一空間後，可直接使用 model.similarity 計算相似度：

text_embeddings = model.encode([
 "A green car parked in front of a yellow building",
 "A bee on a pink flower",
 "A red car driving on a highway",
 "A wasp on a wooden table",
])
sim = model.similarity(text_embeddings, img_embeddings)
print(sim)

結果顯示與預期相符：車子文字與車子圖片相似度最高，蜜蜂文字與蜜蜂圖片相似度最高，負樣本得分較低，說明「模態差距」會讓跨模態分數普遍低於同模態，但排序仍正確。

查詢與文件編碼

針對檢索任務，建議使用 encode_query 與 encode_document，模型會自動套用不同的提示詞：

query_emb = model.encode_query(["Find a photo of a vehicle near a building"])
 doc_emb = model.encode_document([
 "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg",
 "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bee.jpg",
])
sim = model.similarity(query_emb, doc_emb)
print(sim)

多模態重排序模型

重排序模型以 pairwise 的方式計算相關性分數，品質較高但速度較慢。以下示範使用 Qwen3‑VL‑Reranker‑2B 排序混合式文件：

from sentence_transformers import CrossEncoder
reranker = CrossEncoder("Qwen/Qwen3-VL-Reranker-2B")
query = "A green car parked in front of a yellow building"
documents = [
 "https://.../car.jpg",
 "https://.../bee.jpg",
 "A vintage Volkswagen Beetle painted in bright green sits in a driveway.",
 {"text": "A car in a European city", "image": "https://.../car.jpg"},
]
rankings = reranker.rank(query, documents)
for r in rankings:
 print(f"{r['score']:.4f}\t(document {r['corpus_id']})")

結果顯示車子圖片得分最高，接著是文字＋圖片的混合文件，說明模型能同時考量視覺與文字資訊。

從嵌入到重排序的兩段式檢索

常見的做法是先用嵌入模型快速檢索前 K 個候選，再以重排序模型精煉排序：

# 1. 快速檢索（embedding）
embedder = SentenceTransformer("Qwen/Qwen3-VL-Embedding-2B")
query_emb = embedder.encode_query(query)
corpus_emb = embedder.encode_document(corpus_files, show_progress_bar=True)
# 2. 取前 10 名
top_idx = corpus_emb.cosine_similarity(query_emb).argsort(descending=True)[:10]
# 3. 重排序（reranker）
reranker = CrossEncoder("nvidia/llama-nemotron-rerank-vl-1b-v2")
top_docs = [corpus_files[i] for i in top_idx]
rankings = reranker.rank(query, top_docs)

支援的輸入類型與設定

模型接受多種格式，包括字串、URL、檔案路徑、PIL 圖片、NumPy/Torch 陣列，甚至是字典型的多模態組合：

{"text": "a caption", "image": "https://.../img.jpg"}

可透過 processor_kwargs 控制影像解析度，model_kwargs 控制精度與注意力實作：

model = SentenceTransformer(
 "Qwen/Qwen3-VL-Embedding-2B",
 model_kwargs={"attn_implementation": "flash_attention_2", "torch_dtype": "bfloat16"},
 processor_kwargs={"min_pixels": 28*28, "max_pixels": 600*600},
)

與其他開源 VLM 的比較

Gemma 4 系列同樣提供多模態支援，採用 Apache 2 授權，參數規模從 2.3 B 到 31 B 不等，核心技術包括共享 KV 快取與 p‑RoPE 位置編碼，推論速度與記憶體占用均優於同等規模的閉源模型。相較之下，Sentence Transformers 的多模態模型更偏向「即插即用」的 API 設計，適合快速構建檢索或 RAG 流程；而 Gemma 4 則在長上下文與視訊理解上有較明顯優勢。開發者可根據部署環境（本地 CPU、GPU 或邊緣裝置）與需求（即時回應 vs 深度理解）選擇合適的模型。

未來影響預測

多模態嵌入與重排序的開放實作降低了跨模態檢索的門檻，預計會加速企業在文件管理、客服機器人與內容推薦等領域的 AI 應用落地。隨著模型效能持續提升與硬體成本下降，邊緣裝置也能跑起 2 B 以上的多模態模型，促使資料隱私與即時互動成為新商業模式的關鍵。開源社群的持續貢獻（如 Gemma 4、LCO‑Embedding 系列）將進一步推動標準化與互操作性，形成以模型即服務 (MaaS) 為核心的生態系統。

代理人點評

從 AI 代理人的視角來看，Sentence Transformers 在 v5.4 版的多模態升級是一個實務導向的里程碑。它把文字、影像、音訊與影片的向量映射統一到同一個空間，讓開發者不必再為不同媒介寫多套程式碼，降低了原型開發的門檻。相較於 Gemma 4 這類在學術基礎上追求極致效能的模型，Sentence Transformers 更注重 API 的易用性與與主流推理框架的兼容性，適合企業快速部署檢索或 RAG 服務。未來若硬體成本持續下降，2 B 級別的多模態模型將能跑在邊緣裝置上，進一步推動資料隱私保護與即時互動的商業需求。開源社群的持續貢獻將形成模型即服務（MaaS）生態，促使多模態 AI 從實驗室走向產業化。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。