縮放律

深度分析

幾何牆：激活流形幾何如何塑造稀疏自編碼器（SAE）跨層寬度—稀疏度縮放律

本研究以「幾何牆」為概念，檢視稀疏自編碼器（SAE）在語言模型各層的重建行為，挑戰單層擬合的通用縮放律假設。