跨語言映射預訓練

深度分析

跨語言映射預訓練技術提升多語言大型語言模型效能

多語言大型語言模型因資源不均與單語偏見在跨語言任務上表現受限。研究在預訓練階段加入雙向跨語言映射任務，並提出語言對齊係數以衡量一致性。實驗顯示在機器翻譯、跨語言理解與問答上皆取得顯著提升，證明此方法可有效縮小語言差距。