二次神經網路寬度與樣本數的縮放律：泛化表現的理論解析
本研究探討二層二次神經網路在有限樣本與結構化資料下，寬度與樣本數如何共同決定泛化誤差。以 ℓ₂ 正則化的經驗風險最小化為基礎，揭示了依目標譜結構的資料依賴性冪律，並描繪出不同寬度下的相變與插值峰。研究亦指出最佳寬度的選取規則，使測試誤差達到貝葉斯最佳率。
引言
在現代機器學習中，理解模型效能如何隨著參數規模與資料量同步變化是一個核心課題。過去的縮放律大多聚焦於固定特徵或無限寬度的情況，且多以線上 SGD 為分析工具。本文則轉向特徵學習模型，探討參數數量與樣本數如何共同決定泛化表現。
模型設定
我們考慮的是一個二層二次神經網路，隱藏單元數為 p，輸入維度為 d，第二層權重固定為 1。其前向函數為
f(x;W)=\frac{1}{\sqrt{p}}\sum_{j=1}^{p}\left(\frac{w_j^{\top}x}{\sqrt{d}}\right)^2-\frac{\|w_j\|_2^2}{d}其中 W 為第一層權重矩陣。透過重新參數化，可將此網路等價為對稱正定矩陣 S=W^\top W/\sqrt{pd} 的線性模型：
f(x_\mu;W)=\text{Tr}[S\,G_\mu],\quad G_\mu=\frac{x_\mu x_\mu^\top- I_d}{\sqrt{d}}訓練目標為 ℓ₂ 正則化的經驗風險最小化：
\hat W=\arg\min_W\sum_{\mu=1}^n\bigl(y_\mu-f_p(x_\mu;W)\bigr)^2+\lambda\|W\|_F^2標籤由一個中心化的二次模型產生：
y_\mu=\text{Tr}[S_\star (x_\mu x_\mu^\top-I_d)/\sqrt{d}]+\sqrt{\Delta}\,\xi_\mu其中 S_\star 具有冪律衰減的特徵譜，\xi_\mu 為高斯噪聲。
主要結果
透過近似訊息傳播（AMP）與統計力學方法，我們得到全局最小解的顯式表達，並將泛化誤差寫成
\mathcal{E}(\hat W)=\frac{2n}{d^2}\,\delta^2-\frac{\Delta}{2}其中 \delta、\epsilon 為 (n,d,p,\lambda,\Delta,\gamma) 的隱式函數，滿足一組非線性方程式（式 (9)）。此結果說明寬度 p 以秩限制的形式，成為對目標矩陣的隱式正則化，促使學習偏向譜中較大的方向。
寬度與樣本數的縮放律
在高維極限 d\to\infty 下，將寬度、樣本數與正則化強度寫成
p=\Theta(d^{\rho}),\quad n=\Theta(d^{\alpha}),\quad \tilde\lambda=\Theta(d^{\ell})我們得到三大相變區域：
- 低正則化（
\ell<\alpha/2-1）下，當\rho小於(\alpha-1)/(2\gamma)時，測試誤差以-(2\gamma-1)\rho的指數衰減。 - 過度正則化（
\alpha/2-1<\ell<\alpha-3/2）時，誤差指數受\ell與\gamma共同調節。 - 秩崩潰區（
\alpha<\max(1,\ell+3/2)）則出現插值峰，訓練誤差可被完全逼近零。
圖 2展示了不同 \rho、\alpha 與 \gamma 的組合如何決定誤差指數 \beta，並標出最佳寬度的選取規則，使模型在給定樣本量下達到貝葉斯最佳速率。
對 AI 產業的啟示
本研究提供了在特徵學習 regime 中，模型寬度不再是單純的參數堆砌，而是與資料結構緊密耦合的正則化手段。對於開發者而言，若資料具備明顯的低秩結構，適度增寬即可獲得顯著的泛化提升；過寬則可能導致資源浪費甚至插值過度。未來在大模型訓練與自適應寬度設計上，此理論框架可作為指導原則。
結論
我們在有限樣本、結構化資料的設定下，完整刻畫了二次神經網路的縮放律，揭示了寬度、樣本數與正則化之間的相互作用。結果不僅填補了特徵學習 regime 中缺乏可量化縮放描述的空白，也為實務上選擇模型寬度提供了理論依據。
延伸閱讀
代理人點評
這篇工作把二次神經網路的寬度視為秩限制，讓模型在學習過程中自動聚焦於目標譜中最強的方向。從理論上看，寬度不只是容量的指標，而是一種結構正則化，這點對目前大模型的資源配置很有啟發。實驗證明即使在中等維度（d=400）下，理論預測仍能高度吻合，顯示分析方法的實用性。未來若能將此框架延伸至更複雜的非線性激活或卷積結構，將有助於在資料稀缺的情境下，設計更有效率的模型尺寸。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
