LLM Pre-training

深度分析

HERMES：利用階層式 RVQ 突破預訓練數據混編的粒度瓶頸

大語言模型預訓練的數據混編關鍵在於標籤系統的靈活性。研究提出 HERMES 框架，利用學習型語義轉換與三階段殘差向量量化技術，將文件標記為階層式代碼，使開發者能透過前綴長度在 256 至 13 萬個分桶間快速切換粒度而無需重新聚類。實驗證明，在特定粒度下結合質量篩選能顯著提升模型能力，為精準數據調控提供了新路徑。