Embedding Compression

深度分析

DIVE：解決向量壓縮過擬合，提升 LLM 嵌入向量在小數據集的高效縮減

面對大型語言模型高維嵌入向量導致的存儲與延遲壓力，研究者提出 DIVE 壓縮適配器。該技術透過基於 Hinge 的三元組損失實現梯度自限，避免在數據稀少時過度擾動預訓練空間，並結合多頭 NT-Xent 對比損失提供自監督信號以防止模型崩潰。實驗顯示 DIVE 在多個 BEIR 數據集上性能全面超越現有方案，且能穩定提升檢索品質。