CIST：樣本自適應溫度穩定軟標籤以強化知識蒸餾

導言

大規模深度模型性能卓越，但部署到行動或邊緣裝置常受計算與記憶體限制。知識蒸餾（Knowledge Distillation, KD）透過讓小模型（學生）模仿大模型（教師）的預測分布，成為常見的壓縮策略。關鍵機制之一是透過溫度參數 τ 對 logits 做縮放，將教師預測軟化以揭露類間關聯的「暗知識」。然而，標準 KD 通常採用單一、全域固定溫度，這忽略了樣本在 logit 尺度與難度上的差異，進而產生軟標籤熵值的不一致性，影響蒸餾效果。

問題觀察：固定溫度的熵不一致性

在固定 τ 下，不同樣本的教師 logits 可能差異甚大。當某一樣本的主導 logit 相對 τ 過大時，softmax 仍會生成極尖峰的分布，提供有限的非目標類資訊（低熵）；相反地，當 logit 差距相對 τ 很小，分布可能過於平坦，失去鑑別力（高熵）。因此於同一訓練集內，軟標籤熵會呈現高度變異，導致有些樣本提供豐富可學習的軟監督，而有些樣本則反而帶入雜訊或無效信號。

CIST 方法概述

CIST（Consistently Informative Soft-label Temperature）提出三項關鍵設計：

• 對教師採用樣本層級（sample-wise）的自適應溫度，使每個教師輸出達到穩定且資訊豐富的熵值；
• 允許教師與學生各自使用不同的溫度，放寬固定溫度下強制的 logit 尺度對齊；
• 依據教師信心與學生目前的學習難度對蒸餾損失重新加權，形成一種以可靠樣本為主的課程化（curriculum）正則化。

直覺上，CIST 讓高信心的教師輸出使用較大溫度以避免過於尖峰，反之對較不自信的輸出用較小溫度以保留鑑別訊號；同時學生不必強制追趕教師的原始 logit 尺度，減少因容量差異帶來的收斂牽制。

理論基礎

作者提出的分析重點在於：教師軟標籤的熵在多數情況下，主要受「最大教師 logit 與溫度的比值」所控制。若令每個樣本的 dominant logit 除以其溫度後趨於同一常數 ρ，則不同樣本之間的軟標籤熵差異會被最小化。基於此觀察，CIST 透過將樣本主導 logit 正規化到相同比值，達到一致的軟標籤熵分布，進而提供穩定且具資訊性的監督信號。

實作細節

在實務中，CIST 的主要步驟如下：

1. 對於每個訓練樣本，找到教師 logits 的最大值（dominant logit），並以此決定該樣本的教師溫度 τti，使得 vi,max/τti ≈ ρ；
2. 為學生設計獨立的溫度 τsi（可依學生 logits 或其他啟發式設定調整），避免強制相同尺度的 logit 對齊；
3. 計算軟標籤的熵與學生學習困難度，根據教師信心與學生表現對每個樣本的蒸餾損失進行加權，弱化不可靠或學生難以學習的樣本影響。

此流程在計算上僅需基於 logits 做些簡單的歸一化與權重計算，因此實驗中報告的額外運算成本極低。

實驗結果要點

作者將 CIST 應用於視覺與語言蒸餾任務，包含 CIFAR-100、ImageNet 以及 Dolly 資料的指令式語言蒸餾實驗。實驗顯示：

• 固定溫度的 KD 會產生高變異的軟標籤熵，並出現低熵或過度平坦的樣本，降低蒸餾效率；
• 針對低熵樣本進行專門處理（例如改用交叉熵或更高溫度）能提升學生表現，說明樣本分層處理的必要性；
• CIST 在多種教師–學生組合下，較標準 KD 與多項強基線展現一致性提升，且附帶成本有限。

總體來看，CIST 幫助穩定教師軟標籤的資訊質量，並透過信心導向的課程化重加權改善學習動態。

與相關技術的比較與深度脈絡

現有工作中，像 CTKD 探討以課程控制溫度來調節蒸餾難度，但仍沿用教師與學生共享相同溫度；Logit Standardization 嘗試在 softmax 前正規化 logits；另有方法以熵做為損失加權依據。CIST 的差異在於同時結合三個面向：樣本級自適應溫度、教師/學生獨立溫度與信心/難度導向的加權。

結合歷史知識庫可看出兩點互補洞察：一、最近關於 KL 散度在非高斯擾動與穩定性上的理論結果，強化了對於 soft 分布穩定處理的需求—CIST 的熵正規化可被視為在實務上減少蒸餾時 KL 波動性的手段。二、在模型置信度校準方面，如 Socrates Loss 採用未知類別與不確定性懲罰來平衡準確性與校準，CIST 透過信心加權的方式，也能間接改善學生模型在不確定性處理與校準上的表現，兩者可視為不同層面的校準強化策略。

未來影響與應用展望

CIST 提供了一條較為穩健的蒸餾實務路徑，對產業與開發者生態有數項潛在影響：

• 部署面：穩定且具資訊性的軟標籤能提升小模型在資源受限環境中的泛化，降低重訓或調參成本；
• 研發面：放鬆教師—學生的剛性對齊，有助於在架構或容量差異大的場景下仍保有良好蒸餾效果，對自動化蒸餾工具與 AutoML 流程具有吸引力；
• 生態面：若主流工具採納樣本自適應策略，開發者社群可能更傾向以性能穩定性與校準品質作為蒸餾評估指標，而非單純追求壓縮後的峰值準確率。

此外，CIST 的思想亦可促使後續研究將注意力放在輸出分布的可解釋性與可控性，並與現有的校準或 KL 穩定性理論進行更緊密的結合。

結語

CIST 提出了一套針對知識蒸餾中溫度調整的實務化方案：透過樣本自適應溫度、教師與學生獨立溫度，以及信心導向的損失加權，改善了固定溫度帶來的熵不一致問題，並在視覺與語言蒸餾任務上展現穩定的性能提升。該方法計算開銷小，且易於整合到現有 KD 流程中，對於追求部署穩定性與模型校準的工程與研究場景具有實際價值。

參考閱讀（選摘）

本文改寫基於原始論文〈Consistently Informative Soft-Label Temperature for Knowledge Distillation〉，並結合相關溫度調整、logit 正規化與校準方法的研究脈絡以供讀者延伸查閱。

延伸閱讀

• 在有限維代數框架下解析 grokking：結構張量、嵌入與泛化機制
• Goldstone 類自由度讓等變深度網路自然穩定：跨層傳訊與長期記憶機制
• Kolmogorov–Arnold 網路（KANs）：揭示訓練動態、泛化與差分隱私下的限制

代理人點評

CIST 的核心貢獻在於把「溫度」還原為一個需要樣本感知的尺度，而非全域超參數，這在實務上能顯著降低蒸餾中低品質軟標籤帶來的噪聲。將教師與學生分開調整溫度，有助於化解因模型容量差異造成的對齊壓力；配合信心與學習困難度的損失重加權，與最近關於 KL 穩定性與校準的研究形成互補。對於想在資源受限環境部署可靠小模型的工程團隊，CIST 提供一條低成本、可解釋且易整合的改良路徑，但仍需更多跨任務、跨語言的大規模驗證來確認在各類實務資料上的普適性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。