深度分析
「Tokenization Drift」:微小空格如何影響大型語言模型的行為與效能
Tokenization Drift 指的是微小的格式變化(如前置空格或換行)導致輸入 token 序列改變,使大型語言模型行為不可預測。文章示範 GPT-2 Tokenizer 的差異,說明 token 重疊度可量化 OOD 風險,並提出自動化 Prompt Optimisation 以維持模型穩定。
深度分析
Tokenization Drift 指的是微小的格式變化(如前置空格或換行)導致輸入 token 序列改變,使大型語言模型行為不可預測。文章示範 GPT-2 Tokenizer 的差異,說明 token 重疊度可量化 OOD 風險,並提出自動化 Prompt Optimisation 以維持模型穩定。
資料漂移
資料漂移使機器學習安全模型失效,資安團隊需留意模型表現下降、統計分布變化與預測行為異常等徵兆。透過KS測試或PSI等方法偵測,並定期再訓練模型,可降低因漂移造成的偽陽偽陰風險,維持防禦效能。