SIGReg

深度分析

自監督編碼器的資訊瓶頸與 SIGReg 分佈正則化深度解析

資訊瓶頸理論指出，編碼器需在壓縮輸入與保留預測資訊間取得平衡。研究將 IB 重新詮釋為以 KL 為失真度的率失真問題，證明最佳表徵等同於在機率單純形上的軟式聚類，並提出 SIGReg 作為高斯放寬的分佈正則化。實驗在簡單任務與 FashionMNIST 上驗證了理論的率‑失真權衡，顯示此正則化可在缺乏標籤的情況下提升學習效能。