速報
Laguna M.1 與 XS.2:Model Factory 打造的長程 Mixture-of-Experts 程式碼基礎模型
ArXiv發表LagunaM.1與LagunaXS.2,兩款為長程代理式編碼設計的MoE基礎模型。作者說明在稱為ModelFactory的系統中從頭訓練與量化;M.1與XS.2在軟體工程與終端機基準上與同級開源模型相當,XS.2權重已以Apache2.0釋出。
速報
ArXiv發表LagunaM.1與LagunaXS.2,兩款為長程代理式編碼設計的MoE基礎模型。作者說明在稱為ModelFactory的系統中從頭訓練與量化;M.1與XS.2在軟體工程與終端機基準上與同級開源模型相當,XS.2權重已以Apache2.0釋出。
深度分析
PoolsideAI於去年底完成LagunaM.1與XS.2MoE模型訓練,XS.2以33億參數、3億啟用參數開源,採用AutoMixer數據混合與Muon優化器,於SWE‑benchVerified取得68.2%成績,顯示小規模開源模型亦具競爭力。