PAC‑Bayes

深度分析

以 PAC‑Bayes 定量退出深度熵對早退式神經網路泛化的影響

背景：深度模型部署受限於計算與延遲，早退式網路提供中間出口以節省推論。核心：本文以退出深度熵為核心建立PAC‑Bayes泛化界，將泛化誤差表達為期望深度與出口熵的函數，並給出顯式常數與對近似標籤獨立路由的放寬。影響：在多架構多資料集上實驗顯示該界明顯緊於傳統界，並能指導閾值調整以減少驗證成本。