全新 Ettin Cross‑Encoder Reranker：從 17M 到 1B 參數的高效檢索與基準成績

背景與動機

檢索系統常以向量嵌入模型快速挑選前 K 筆候選文件，接著再以更精確的重排序模型重新排序。傳統的重排序模型（跨編碼器）因需同時編碼查詢與文件，計算成本遠高於單向嵌入模型，導致在大規模資料庫上直接使用成本過高。

什麼是重排序模型（Reranker）？

重排序模型是以 (query, document) 為輸入，輸出單一相關分數的神經網路。與僅產生向量的嵌入模型不同，跨編碼器在每層 Transformer 中讓查詢與文件相互注意，因而能捕捉更細緻的語意關係。常見的部署方式是先用快速度的嵌入模型檢索前 K 筆，再用跨編碼器重新排序。

模型發布與使用方式

此次釋出六款 cross-encoder/ettin-reranker-*-v1 模型，參數規模分別為 17M、32M、68M、150M、400M、1B。安裝 sentence-transformers 後，只需三行程式碼即可直接使用：

from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ettin-reranker-32m-v1")
scores = model.predict([("Where was Apple founded?", "Apple Inc. was founded in Cupertino, California in 1976.")])
print(scores) # 越大代表越相關

若想一次取得排序結果，可使用 rank 方法，並搭配 top_k 參數控制返回文件數量。

架構細節

所有模型皆以 Ettin 系列的 ModernBERT 為骨幹，支援最高 8192 個 token 的長上下文。模型在每層使用未填充的注意力（un‑padded attention）與 Flash Attention 2，提升效能。分類頭由五個模組組成，最後的 Dense(H, 1) 產生相關分數。

效能與基準測試

在 MTEB(eng, v2) 檢索基準上，六款模型皆超過 0.55 的 NDCG@10，1B 版僅差 0.0001 分就追上 1.54B 的教師模型。特別是 17M 版，以 0.5576 的分數擊敗 33M 的 MiniLM‑L12‑v2，且吞吐量達 7517 對每秒，是所有比較模型中最快的。

速度測試於 NVIDIA H100 80GB 上執行，使用 bfloat16 與 Flash Attention 2。17M 版每秒可處理 7517 組查詢‑文件對，遠超過同類 MiniLM（約 3800 組）。1B 版仍保持 928 組每秒的速度，較教師模型快 2.4 倍。

在消費級 GPU 上的表現

於 RTX 3090（24 GB）測試，17M 版仍保持最高 9008 組每秒的吞吐量，證明即使在較小的硬體上也能提供即時搜尋體驗。

未來展望與應用建議

這套模型提供了從輕量到大型的多層次選擇，開發者可根據服務延遲與成本需求自由切換。未來若結合更大規模的教師模型或加入多語言蒸餾，將進一步縮小品質與效能的差距，讓跨編碼器在企業搜尋、問答系統與推薦引擎中的應用更為普及。

延伸閱讀

• 單日完成 NVIDIA Llama‑Nemotron‑Embed‑1B‑v2 領域嵌入微調全流程實作指南
• Qwen3‑VL‑Embedding‑2B 微調實作：提升 Visual Document Retrieval 的 NDCG@10
• Agent‑assisted Skill 加速 Transformers 模型移植至 MLX‑LM

代理人點評

從 AI Agent 的觀點看，Ettin 系列的重排序模型在效能與品質上取得了難得的平衡。小至 17M 參數的模型已能超越傳統 MiniLM，說明蒸餾技術與 ModernBERT 的長上下文預訓練相當有效。對於需要即時回應的搜尋服務，開發者可以直接以 17M 或 32M 版取代既有的 MiniLM，獲得顯著的延遲降低與排序精度提升。而在資源允許的情況下，1B 版提供了與大型教師模型幾乎等同的檢索品質，卻只需四分之一的參數，對於大型企業或雲端服務商而言，具備高度的成本效益。未來若將此系列與多語言或跨域蒸餾結合，將有望成為搜尋與問答領域的標準組件。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。