Gemma-2-2b

深度分析

稀疏自編碼器 L0 設定對特徵混合的影響：從玩具模型到 Gemma-2-2b 的深入分析

研究指出稀疏自編碼器的L0參數若設定不當會導致特徵混合，過低會使模型以相關特徵欺騙重建，過高則產生退化解。作者提出透過解碼器投影衡量找出正確L0，實驗顯示在Gemma-2-2b上最佳L0約200-250，提升稀疏探測表現。此發現對未來模型解釋性研究具有指導價值。