Tokenization Drift

深度分析

「Tokenization Drift」：微小空格如何影響大型語言模型的行為與效能

Tokenization Drift 指的是微小的格式變化（如前置空格或換行）導致輸入 token 序列改變，使大型語言模型行為不可預測。文章示範 GPT-2 Tokenizer 的差異，說明 token 重疊度可量化 OOD 風險，並提出自動化 Prompt Optimisation 以維持模型穩定。