熵正規化

深度分析

CIST：樣本自適應溫度穩定軟標籤以強化知識蒸餾

知識蒸餾常以固定溫度 τ 平滑教師預測以揭露「暗知識」，卻忽略樣本間 logit 尺度差異，導致軟標籤熵值高度不一致。CIST（Consistently Informative Soft-label Temperature）提出針對每個樣本的自適應溫度，並對教師與學生採用獨立溫度，同時依教師信心與學生學習難度重新加權蒸餾損失。