flash-attention-2

深度分析

ModernBERT 驅動的 Ettin Reranker（17M–1B）：蒸餾與 Flash Attention 2 的速度與精度權衡

研究團隊發表Ettin系列cross-encoder reranker，結合ModernBERT編碼器與蒸餾訓練，並採retrieve-then-rerank管線以提高檢索排序準確度，同時兼顧延遲與參數效率。在多項基準測試中展示出優異或競爭性表現，尤其在低參數區間有明顯速度與效能優勢。