交叉熵損失

深度分析

Wolkowicz‑Styan 不等式在非線性平滑神經網路交叉熵損失 Hessian 上界的閉式解析

研究探討非線性平滑神經網路的交叉熵損失之 Hessian 上界。利用 Wolkowicz‑Styan 不等式推導出最大特徵值的閉式上界，與仿射參數、隱層維度及樣本正交度相關。結果顯示可在不計算特徵譜的情況下評估損失鋒利度，為深度學習理論提供新工具。