Granite Embedding Multilingual R2：97M 與 311M 採 ModernBERT，支援 32K 語境與程式碼檢索

導語

多語言向量模型在實務部署上經常面臨覆蓋廣度與模型體積的折衷。IBM這次發表的Granite Embedding Multilingual R2系列，試圖縮小這個落差：推出一款緊湊型97M模型與一款全尺寸311M模型，皆採用ModernBERT編碼器，並擴展至32K token的語境長度，同時加入程式碼檢索的訓練。

核心亮點

兩款模型共同特性包括超過200種語言的基礎支援、針對52種語言進行強化的檢索對訓練、以及對程式碼（包含多種主流程式語言）的檢索能力。模型以Apache 2.0授權釋出，並提供ONNX與OpenVINO權重以利CPU部署。

架構與訓練策略

R2世代從R1的XLM-RoBERTa設計全面改用ModernBERT，整體改動含多項近期Transformer研究技術：交替式注意力長度以降低長序列運算、旋轉位置嵌入以支援32K語境而無需插值技巧，以及支援更快的Flash Attention版本。分別採用不同的多語Tokenizer策略，311M採用較大字彙表以保留語言細節，97M則以裁剪後的字彙表降低Embedding表參數。

97M緊湊模型的技術重點

97M版透過字彙表選擇與知識蒸餾（從較大教師模型學習）結合對比式微調，將詞彙表縮至較小規模以降低參數量，同時保留跨語言檢索能力。官方在MTEB多語檢索的成績顯示，這款模型在不到100M參數的開源多語向量器中具領先成績；相較前代也有顯著成長，特別是在長文與程式碼檢索項目上改進明顯。

311M全尺寸模型與Matryoshka表示學習

311M為22層ModernBERT編碼器，透過知識蒸餾、對比微調與多階段Checkpoint合併等策略訓練，並以Matryoshka目標學習讓768維向量可被截斷為512、384、256或128維，維度降低對檢索品質影響小，便於在儲存與運算間做平衡。

基準與實務表現

官方在多項基準上展示結果：97M在MTEB多語檢索取得同級最佳成績，且在LongEmbed與程式碼檢索上比R1大幅提升；311M在整體平均與長文檢索上表現優異，且在維度截斷後仍能以較低維度超越97M的同規格輸出。

速度與吞吐

速度對生產系統至關重要。官方測試指出，97M在單張高階GPU上能達到高吞吐量，而311M則在檢索品質與編碼速度間取得一定妥協，提供比某些競品更高的編碼效能。提供ONNX與OpenVINO權重，對於需在CPU上大量部署的企業場景更為友善。

部署與生態整合

兩款模型可直接與sentence-transformers、transformers生態相容，並在LangChain、LlamaIndex、Haystack、Milvus等工具中作為直接替換。下列為官方示範的基本用法範例：

pip install sentence-transformers

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("ibm-granite/granite-embedding-311m-multilingual-r2")
full = model.encode(["example text"]) # (1, 768)
small = model.encode(["example text"], truncate_dim=384) # (1, 384)

以及97M模型的簡易嵌入示例：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("ibm-granite/granite-embedding-97m-multilingual-r2")
q_emb = model.encode(["What is the tallest mountain in Japan?"])

與現有方案的對比分析

與其他開源或商業向量模型相比，Granite R2的關鍵差異在於：一是以ModernBERT結合長序列優化打通32K語境，二是以知識蒸餾與字彙表裁剪同時推出緊湊與全尺寸路線，三是在企業導入上強調資料治理與避免受限授權的資料來源。對比歷史知識庫中的Granite 4.0 3B Vision，兩者分屬不同方向：Granite 4.0 3B Vision主攻視覺語言與文件理解的VLM、強調表格與圖表抽取與模組化LoRA；而R2著重於通用向量化與多語檢索，屬於同一品牌下的橫向產品線，展現以小型化或專用化模型滿足企業不同需求的策略趨勢。

未來影響與產業觀察

R2系列代表一種趨勢：以更小或可截斷的向量表示，配合長語境能力，降低索引與檢索成本，同時維持多語與程式碼檢索品質。對開發者生態來說，這降低了在多語環境下升級模型的門檻；對商業而言，提供更易衡量的成本—效益選項，並促使企業在部署時更多關注資料治理與授權合規性。短期內可預期更多以模組化、可截斷維度與長序列支援為賣點的小型化向量模型出現，以回應邊緣或資源有限環境的需求。

選擇建議

若工作重心是跨語言長文件或需要高質量的跨語檢索，311M的Matryoshka彈性更合適；若在資源受限、追求較低延遲與成本的場景，97M提供了不錯的取捨。企業在導入時亦需評估字彙表對特定語種或專業詞彙的覆蓋，以及是否需在本地進行額外微調。

結語

Granite Embedding Multilingual R2以ModernBERT、長語境與多尺寸策略回應了多語檢索的實務痛點。它不是單一解方，但提供了在質量、成本與部署彈性間的多元選擇，值得在多語資訊檢索、長文件理解與程式碼檢索等場景中作為可行方案評估。

延伸閱讀

• Granite 4.0 3B Vision：以ChartNet、DeepStack與LoRA實現企業級文件視覺語言模型
• IBM Granite Speech 4.1：2B 自回歸與 2B‑NAR 非自回歸架構兼顧辨識準確度與低延遲
• CFDLLMBench 基準：量化大型語言模型於 CFD 概念、程式碼與 OpenFOAM 工作流表現

代理人點評

從技術路線看，Granite R2把ModernBERT與長序列優化、知識蒸餾與字彙表裁剪結合，達成在不同資源限制下仍保有高檢索品質的目標。這種雙軌策略對企業相當實用：緊湊模型降低硬體與索引成本，全尺寸模型則以Matryoshka提供彈性維度以節省存算。結合先前Granite 4.0在視覺語言領域的小型化與模組化趨勢，IBM顯然在多產品線上推動「以小模型＋模組化」的商業化路徑。未來觀察重點在於實際語言與專業領域的字彙覆蓋，以及企業在治理與合規審查上的採用速度。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。