BERTomelo

速報

BERTomelo：全新葡萄牙語單語言編碼器突破效能與規模

隨著編碼器成為多項 NLP 任務的主流，葡萄牙語單語言模型仍落後於最新架構。BERTomelo 以 ModernBERT 為基礎，支援 1,024 token 視窗並加入 FlashAttention 與交替注意力機制，於 1.06 億篇語料上訓練。測試顯示其在 STS 與 NER 等任務上優於既有模型，且效能更佳。