模型寬度

深度分析

二次神經網路寬度與樣本數的縮放律：泛化表現的理論解析

本研究探討二層二次神經網路在有限樣本與結構化資料下，寬度與樣本數如何共同決定泛化誤差。以 ℓ₂ 正則化的經驗風險最小化為基礎，揭示了依目標譜結構的資料依賴性冪律，並描繪出不同寬度下的相變與插值峰。研究亦指出最佳寬度的選取規則，使測試誤差達到貝葉斯最佳率。