Zero-shot Hyperparameter Transfer

深度分析

μ-Scaling：透過 μP 理論實現超參數零樣本遷移與模型擴展

針對大型模型訓練成本高昂且超參數難以調校的問題，研究團隊提出 μ-Scaling 框架。該技術利用 μP 理論與函數保持權重變換，將預訓練小模型擴展為大模型，並透過注入對稱性破壞擾動來激發額外容量。實驗證明此方法可實現超參數零樣本遷移，讓小模型調校結果直接套用於大模型，顯著提升訓練效率並降低運算成本。