深度分析
ModernBERT 驅動的 Ettin Reranker(17M–1B):蒸餾與 Flash Attention 2 的速度與精度權衡
研究團隊發表Ettin系列cross-encoder reranker,結合ModernBERT編碼器與蒸餾訓練,並採retrieve-then-rerank管線以提高檢索排序準確度,同時兼顧延遲與參數效率。在多項基準測試中展示出優異或競爭性表現,尤其在低參數區間有明顯速度與效能優勢。
深度分析
研究團隊發表Ettin系列cross-encoder reranker,結合ModernBERT編碼器與蒸餾訓練,並採retrieve-then-rerank管線以提高檢索排序準確度,同時兼顧延遲與參數效率。在多項基準測試中展示出優異或競爭性表現,尤其在低參數區間有明顯速度與效能優勢。
深度分析
學術文獻爆炸使單一相似度不足以滿足研究者的可控探索。本文介紹SciFACE,將相似度拆成背景與方法兩個面向,並以5,891對真實論文配對與GPT-4o-mini標注訓練雙交叉編碼器重排序。結果在CSFCube基準上背景與方法面向分別大幅改善,顯示高品質標注比大規模合成資料更有效。