預測編碼

深度分析

輸出損失與 logit 尺度：交叉熵在 K-way 能量探針還原中的角色

本研究為預註冊的範圍測試，檢驗先前推導中 K-way 能量探針對 softmax 的還原是否依賴輸出層的交叉熵（CE）條件。作者在相同 2.1M 參數 TinyConv 骨幹、CIFAR-10 上，用 10 個隨機種子比較標準 PC（CE 與 MSE）、以及雙向預測編碼（bPC）。