語料選擇

深度分析

LLM 文本生態系統中的漂移與選擇：遞迴出版對公共語料的影響

隨著生成式 AI 文本不斷回流至公共語料庫，研究以可變階 n-gram 代理模型建構數學框架，將漂移與選擇兩大力量分離。結果指出，僅統計式出版會使語料庫陷入淺層平衡；具規範性出版則能保留深層結構，並提供理論上可達的偏離上限。此發現對 AI 訓練語料設計與產業發展具重要啟示。