多臂賭徒算法驅動的結構化神經元剪枝：UCB1與Thompson Sampling表現領先
研究針對深度神經網路的冗餘神經元提出結構化剪枝方案，利用多臂賭徒演算法將神經元視為臂並評估其安全移除獎勵。UCB1與Thompson Sampling在分類、迴歸及深度任務上取得最高排名，部分策略甚至優於未剪枝模型，顯示此方法在模型縮減上具實務效益。
背景與挑戰
深度神經網路常包含大量冗餘隱藏單元，傳統的權重稀疏化只能減少參數量，但在一般密集實作上難以直接受惠。
方法概述
作者設計一套結構化剪枝框架，將每個候選神經元視為多臂賭徒（MAB）中的一根臂。抽臂的流程如下：
1. 暫時遮蔽該神經元
2. 在抽樣的 mini‑batch 上測量損失變化
3. 恢復神經元
4. 更新安全移除獎勵估計框架支援多種隨機策略，包括 Epsilon‑Greedy、Softmax、UCB1、Thompson Sampling，以及 Hedge、EXP3 等乘法權重策略。
實驗與結果
測試涵蓋表格分類、表格迴歸以及影像、文字、推理等深度學習基準。以 Friedman 測試及 Nemenyi 事後檢定進行統計比較。
- 在表格分類任務上，UCB1 獲得最高平均排名，且表現優於未剪枝模型。
- 迴歸任務中，UCB1 同樣排名最高，R² 指標顯示其與多個標準迴歸模型相當或更佳。
- 深度學習任務中，UCB1 與 Thompson Sampling 取得最強排名，多項 MAB 策略顯著超過未剪枝模型、幅值剪枝與貪婪激活變異剪枝。
結果證明，基於多臂賭徒的神經元剪枝不僅有效，且在計算上具實務可行性，為結構化模型縮減提供新方向。
延伸閱讀
- SPEED-Bench 評測框架：在生產級引擎上衡量 Speculative Decoding 吞吐與延遲
- 在 Intel GPU 上優化 Triton kernel 的 Xe-Forge：多階段 CoVeR 驗證與自動調參流程
- 在 Jetson Orin Nano 上以 Prism 與 Segment Means 緩解 GLOO CPU–GPU 暫存瓶頸
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
