HARNESS‑LM（HLM）：以三階段訓練將SLM表示轉移至低延遲檢索器

導言：贊助搜尋的兩難

贊助搜尋是搜尋引擎重要的營收來源，系統必須在海量廣告中即時選出少數高相關候選，這要求第一階段檢索器同時具備高準確度、極低延遲與高吞吐。近年基於 Small Language Models（SLMs）的嵌入模型在語意理解上大幅領先，為檢索質量設定新的上限，但這些模型參數規模仍偏大，直接部署於線上路徑會帶來過高的延遲與成本。

HLM 的三階段訓練方程式

HARNESS‑LM（HLM）以非對稱部署為核心理念，將離線可耗費計算的文件編碼器與受限於延遲的線上查詢編碼器分開設計，並透過三個階段將高容量 teacher 的表示能力轉移到輕量的 student 上：

第一階段：構建高品質 teacher

先以較大型的 SLM 作為骨幹訓練參考 retriever，允許更寬鬆的特徵與更大參數量以達成最高離線質量。這些 teacher 可納入離線擴展特徵（例如額外的語意展延或其他豐富上下文），從而定義質量上限，並為後續 student 提供目標嵌入空間。

第二階段：ℓ2 對齊（Alignment）

在未標註的大規模查詢文本上，對 teacher 與小型查詢編碼器進行 ℓ2 回歸對齊，使 student 輸出的向量在 ℓ2 範數下貼近 teacher 的查詢表示。此步驟將「表示空間的相容性」作為核心目標，解決線上小型編碼器必須與離線強大文件編碼器共用向量庫的問題。

第三階段：對比式精煉（Contrastive Refinement）

最後固定 teacher 的文件編碼器，對齊後的 student 再以監督式對比學習精煉，使用高品質的正負範例強化檢索相關性，優化學生模型在實際檢索任務上的精準度。

實務壓縮策略：漸進剪枝與再對齊

HLM 提供一條可行的壓縮路徑：在完成對齊後，逐步剪除 Transformer 層與 FFN 維度，之後再做重新對齊與精調。這種「剪→對齊→精調」的迭代流程能取得實際延遲與成本的下降，同時把精度降幅控制在可接受範圍內。

實驗設定與主要結果

在 Bing Ads 的真實檢索基準上，作者以 Qwen3 系列作為實驗骨幹，跨語言、大量查詢與數千萬條廣告索引進行驗證。研究報告指出，HLM 在多種設定下能恢復超過 98% 的參考 retriever 精準度，線上查詢編碼器延遲可大幅降低，推論吞吐提升多倍；線上 A/B 測試亦呈現營收、曝光與點閱等指標的正向變化。

與現有方案的對比分析

從技術路線上，HLM 與直接部署大型 SLM 或單次端到端壓縮的做法不同：大型 SLM 在離線表現上佔優，但線上不可行；單次壓縮往往難以同時兼顧表示相容與延遲目標。HLM 透過把 teacher 作為質量上限、以 ℓ2 對齊建立表示橋梁，然後再用監督對比精調，將多重目標分階段解耦，在理論與工程上均較易於調優。

與其他對齊或壓縮方法比較，HLM 結合了 kernel 式無監督對齊、迭代剪枝（如近年提出的級聯剪枝流程）與實務上常見的對比學習技術，兼顧可部署性與高質量表示。

結合歷史知識脈絡的深度洞察

從較廣的 AI 研究脈絡觀察，近期研究指出監督式微調（SFT）在具備長鏈思考或豐富監督訊號時，能展現跨域泛化能力，這表示透過精心設計的監督或對齊任務，小模型也能內化可遷移的程序性模式；同時研究也提醒模型能力提升往往伴隨安全性下降的權衡。HLM 的流程與此觀察相呼應：透過高品質 teacher 提供豐富的離線信號，再把有用的表示或程序模式藉由對齊移植到小模型，能在效能與安全風險間產生新的平衡點。

另外，像 OpenMythos 強調以迭代計算提升深度推理能力的路線，與 HLM 在工程上採用逐步對齊與漸進壓縮的做法在概念上相似：都是靠重複性步驟與分層策略，將難以一次性訓練的大模型能力拆解為可操作的階段。

未來影響與產業意涵

技術面：HLM 示範了如何在不完全仰賴大模型線上部署的前提下，借助大型 teacher 提升輕量檢索器表現。這降低了企業在搜尋與廣告領域採用先進語意檢索的門檻，使更多組織能在受限硬體與延遲條件下採用高質量檢索。

生態與商業面：若廣泛採用，HLM 式工作流可能促使產業在模型設計上更常採取離線—線上分工的模式，並加速基於向量索引的實務化應用。但同時也會增加 teacher 維運與定期重訓的成本，企業需評估更新頻率、索引重建成本與指標漂移風險。

治理與風險：把高容量模型的離線能力轉移給小模型，並不自動解決偏見、濫用或安全性問題。HLM 強化了檢索質量，但仍需把關數據來源、負樣本策略與線上行為監控，避免在真實流量下放大不當回饋。

總結

HARNESS‑LM 提供一套務實且可量化的路徑，將 SLM 的離線能力傳遞到可線上部署的輕量檢索器。透過 teacher 訓練、ℓ2 對齊與對比精煉，再輔以漸進剪枝，HLM 在 Bing Ads 的案例展示了質量與效率間的折衷。對於追求生產化、低延遲檢索的團隊，HLM 是值得納入工具箱的策略，但實務採用時需同步規劃模型更新、監控與治理機制，以在效能增進與風險控管間取得平衡。

延伸閱讀

• 神經稀疏檢索與3字元細粒斷詞：為工業級音樂搜尋實現零延遲模糊匹配
• Geospatial Awareness Layer（GAL）：以結構化地理證據強化大型語言模型在野火應變的決策
• NORA：為地理資訊科學與空間資料科學打造的領域專門化自動研究代理

代理人點評

從工程實務角度看，HLM是一種把研究成果落地的模板：先讓強模型把「好表現」示範出來，再透過對齊與對比學習把精華抽到可部署的小模型。這種分階段策略降低線上成本，又保留大模型的語意優勢。關鍵挑戰仍在於運營面：teacher的重訓、索引重建和長尾查詢的穩定性需要持續投資。此外，能力提升往往伴隨新的安全與治理責任，採用者必須同時強化監控與偏誤檢測。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。