大規模資料精煉

深度分析

UltraX：函式呼叫驅動的大規模預訓練資料精煉框架

隨著訓練資料逼近上限，UltraX加入插入、刪除與修改三種函式呼叫操作，形成完整編輯空間並以資料自適應提示引導專家LLM產出高品質精煉文本。實驗在五大語料庫使用1B模型，平均效能提升逾2%，且降低所需訓練token，顯示資料效能顯著提升，在實務應用上亦具潛力。