深度分析
E‑FLoPS：結合 L0 約束與熵正規化的稀疏聯邦學習新方法
在資料稀疏且客戶端參與不均的聯邦學習環境下，研究提出以熵正規化的機率門來維持稀疏模型的探索性，結合 L0 约束與硬混凝土分布，實驗顯示相較於 FedAvg 後剪枝或 Fed‑IHT，測試準確度與稀疏度恢復均有顯著提升。此外，方法在不同 GPU 架構與客戶端參與比例下仍保持穩定加速 15%~20% 的運算速度，預示未來在 AI 服務部署與成本優化上具備廣泛應用前景。
深度分析
在資料稀疏且客戶端參與不均的聯邦學習環境下，研究提出以熵正規化的機率門來維持稀疏模型的探索性，結合 L0 约束與硬混凝土分布，實驗顯示相較於 FedAvg 後剪枝或 Fed‑IHT，測試準確度與稀疏度恢復均有顯著提升。此外，方法在不同 GPU 架構與客戶端參與比例下仍保持穩定加速 15%~20% 的運算速度，預示未來在 AI 服務部署與成本優化上具備廣泛應用前景。
深度分析
知識蒸餾常以固定溫度 τ 平滑教師預測以揭露「暗知識」，卻忽略樣本間 logit 尺度差異，導致軟標籤熵值高度不一致。CIST（Consistently Informative Soft-label Temperature）提出針對每個樣本的自適應溫度，並對教師與學生採用獨立溫度，同時依教師信心與學生學習難度重新加權蒸餾損失。