Tokenization

深度分析

非洲語系 Tokenization 成本差異：子詞 Fertility 與大型語言模型的結構性懲罰

研究指出，目前主流大型語言模型的子詞分詞器在非英語非洲語系上產生較高的 token 數，導致 API 成本與延遲提升。以 11 種前沿分詞器測試 19 種非洲語言，最小溢價 1.29 倍，最高 8.92 倍。結果顯示語系與字母表覆蓋是主要因素，且可透過增大詞彙表或針對性設計減輕。