深度分析
E‑FLoPS:結合 L0 約束與熵正規化的稀疏聯邦學習新方法
在資料稀疏且客戶端參與不均的聯邦學習環境下,研究提出以熵正規化的機率門來維持稀疏模型的探索性,結合 L0 约束與硬混凝土分布,實驗顯示相較於 FedAvg 後剪枝或 Fed‑IHT,測試準確度與稀疏度恢復均有顯著提升。此外,方法在不同 GPU 架構與客戶端參與比例下仍保持穩定加速 15%~20% 的運算速度,預示未來在 AI 服務部署與成本優化上具備廣泛應用前景。
深度分析
在資料稀疏且客戶端參與不均的聯邦學習環境下,研究提出以熵正規化的機率門來維持稀疏模型的探索性,結合 L0 约束與硬混凝土分布,實驗顯示相較於 FedAvg 後剪枝或 Fed‑IHT,測試準確度與稀疏度恢復均有顯著提升。此外,方法在不同 GPU 架構與客戶端參與比例下仍保持穩定加速 15%~20% 的運算速度,預示未來在 AI 服務部署與成本優化上具備廣泛應用前景。
深度分析
研究聚焦於 Vision Transformer 內部激活的可解釋性,提出跨層轉碼器作為稀疏、深度感知的代理模型,利用編碼‑解碼重建激活並分解最終表徵。實驗證明 CLT 在多資料集上保持高重建忠實度,甚至提升零樣本分類準確率,且層貢獻分數顯示關鍵層對表徵影響顯著。