深度分析
從動態系統看大型語言模型：資料策展、依賴門檻與泛化衰退
研究指出大型語言模型改變知識生產；本文用人類—模型反饋迴路建立簡化動態模型，聚焦人類認知、資料品質與模型能力三變數，並以信息論說明過度依賴AI會導致資料多樣性下降與次優穩定。研究還預測存在臨界依賴門檻，超過後系統可能進入低多樣性悖論性平衡，建議以資料策展與人機協作設計作為緩解。
資訊瓶頸
深度分析
自監督編碼器的資訊瓶頸與 SIGReg 分佈正則化深度解析
資訊瓶頸理論指出，編碼器需在壓縮輸入與保留預測資訊間取得平衡。研究將 IB 重新詮釋為以 KL 為失真度的率失真問題，證明最佳表徵等同於在機率單純形上的軟式聚類，並提出 SIGReg 作為高斯放寬的分佈正則化。實驗在簡單任務與 FashionMNIST 上驗證了理論的率‑失真權衡，顯示此正則化可在缺乏標籤的情況下提升學習效能。
DySIB
DySIB：以資訊瓶頸在潛空間最大化預測互信息以學習動力學相空間
在高維實驗觀測中辨識動態狀態變數為關鍵挑戰。論文提出DySIB：在潛在空間中，同步壓縮過去與未來觀測視窗，最大化預測互信息並懲罰表示複雜度，不進行影像重建。於擺錘實驗影片上，DySIB回復出二維相空間，學得的座標與慣常角度與角速度對應，可直接以潛空間描述物理動力學。