Kolmogorov–Arnold 網路（KANs）：揭示訓練動態、泛化與差分隱私下的限制
研究聚焦Kolmogorov–Arnold網路（KANs）訓練理論。作者分析兩層KANs在梯度下降下的動態與泛化，並在NTK可分假設下以logistic損失為例，證明多對數寬度能達到1/T的優化率與1/n的泛化率；在(ε,δ)-差分隱私下效用界為√d/(nε)，顯示私有訓練對寬度有更嚴格要求。
速報：KANs訓練理論有新進展
Kolmogorov–Arnold 網路（KANs）作為結構化的 MLP 替代方案，其訓練與私密保護特性尚缺乏完整理論。本文對兩層 KANs 在梯度下降（GD）下的行為做出系統分析，並推導訓練動態、泛化與差分隱私下的效用界。
在具體化設置中，作者以 logistic 損失並採用 NTK 可分假設，證明只需多對數等級的網路寬度，GD 即可達到優化速率為 1/T、泛化速率為 1/n 的階數，其中 T 為迭代次數、n 為樣本數。在差分隱私（(ε,δ)-DP）情境下，論文刻畫了所需噪聲量，並得到效用界為 √d/(nε)，與一般凸 Lipschitz 問題的經典下界相匹配。
結果指出：非私有訓練場景下多對數寬度足以；但在差分隱私約束下，這種寬度條件同時呈現必要性，顯示私有化訓練與非私有訓練在結構需求上存在質的差異。實驗部分則示範這些理論如何指導實務選擇，例如網路寬度與早停策略。
延伸閱讀
- MinMax 迴圈神經級聯（RNC）：以 MinMax 代數抗衡梯度消失的遞迴架構
- 馮·諾依曼神經元與 VNN：細胞陣列自我構架的神經網路新路徑
- 以解析子（resolvent）與圖論揭露 RNN 的多跳時間路由機制
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
