深度分析
NVIDIA 推出單卡一天完成的領域專用嵌入模型微調流程，提升 RAG 檢索效能
通用嵌入模型常在處理企業專業文件時失效，導致 RAG 系統檢索精度不足。NVIDIA 推出一套微調流程，利用 LLM 自動生成合成問答對並挖掘硬負樣本，同時引入多跳查詢以強化複雜語意推理。該方案僅需單張 GPU 在一天內即可完成訓練，實測可提升 Recall@10 與 NDCG@10 逾 10%，顯著優化專業領域的檢索效能。
硬負樣本
深度分析
單卡一天完成領域嵌入模型微調：NVIDIA NeMo 與 RAG 完整流程解析
在建置RAG系統時，通用嵌入模型難以捕捉合約或製程等領域細節。NVIDIA提供單卡、一天內完成的領域嵌入微調流程，利用LLM自動產生合成問答、硬負樣本與多跳問題，實測Recall@10與NDCG@10超過10%提升，Atlassian以單GPU將Recall@60提升至95%。
深度分析
WEINCE：結合 Weibull 極值理論校正 InfoNCE 的硬負樣本處理
InfoNCE 作為對比學習的核心目標，長期以 softmax 形式實作，隱含一種對最高相似度樣本的分布假設。研究指出，當嵌入向量正規化後，硬負樣本的相似度分布趨向有上限，與 Gumbel（softmax）假設不相容。