HASTE：群組共享固定輸入稀疏化提升極端多標籤分類效能

背景與挑戰

在標籤數量達到百萬級的極端多標籤分類（XMC）任務中，輸出層的記憶體與運算需求常成為系統瓶頸。傳統的稀疏化技術雖能降低 FLOPs，卻因記憶體存取不規則、GPU 利用率低下，難以在實際訓練時獲得相稱的加速。

HASTE 的核心設計

HASTE 引入「群組共享固定 fan‑in 稀疏」概念：先以語意相似度將標籤分群，每個群組共享同一組隨機選取的特徵子集（fan‑in），而群組內的每個標籤仍保有獨立的權重。此設計同時具備以下優勢：

• 特徵重用：同群標籤共用特徵，提高算子密集度。
• 記憶體縮減：索引僅儲存每群一次，索引開銷降低約 G 倍（G 為群組大小）。
• 硬體相容：共享的 fan‑in 使記憶體讀取可合併（coalesced），配合 Tensor Core 可獲得高效能。

為解決長尾分佈下的梯度不穩問題，HASTE 另採用「密集頭部 + 稀疏尾部」的分割策略：將最常出現的前 2%~5% 標籤以密集全連接層處理，其餘大量稀疏標籤使用上述群組稀疏層。密集部份提供穩定的梯度訊號，稀疏部份則保留記憶體與運算優勢。

實作細節

稀疏層的前向與反向運算以自訂 CUDA 核心實作，利用 Triton 基礎的矩陣乘法原語，確保在 A100 GPU 上的 Tensor Core 能被充分調度。訓練流程採用 BF16 精度，編碼器使用 Adam，分類層則以 SGD+momentum。標籤分群採用兩階段近似：先以 mini‑batch 球面 k‑means 產生粗粒度聚類，再在每個聚類內以餘弦相似度貪心選擇 G‑1 個最近鄰形成最終群組。

效能與精度評估

在 Amazon‑670K、Amazon‑3M、LF‑Paper2Keywords‑8.6M 等四個公開 XMC 基準上，HASTE 的前向速度相較於標準固定 fan‑in 提升最高 4.4 倍，反向更達 25 倍，同時保持在 FLOPs 相當的密集基線之內。精準度（Precision@k）方面，HASTE 在多數資料集上與最先進稀疏基線持平或略優，且與密集模型的差距隨標籤規模增大而縮小。

與既有方案的比較

相較於純塊稀疏（block sparsity），HASTE 放寬了連續性限制，允許隨機但共享的 fan‑in，兼具記憶體效率與模型表達能力。相對於早期的 Spartex，HASTE 透過群組共享降低了索引開銷，並藉由密集頭部緩解了長尾梯度噪聲，無需額外的輔助目標。

未來展望

硬體感知的稀疏訓練將成為大規模多標籤系統的關鍵技術。隨著 GPU、TPU 以及 FPGA 越來越支援自訂稀疏原語，類似 HASTE 的設計有望在雲端服務、推薦系統以及廣告匹配等場景中，實現更低的能源消耗與更高的吞吐量。未來研究可探索更動態的群組調整機制，或將稀疏層與大型語言模型結合，擴展至跨模態的極端分類任務。

延伸閱讀

• SPEED-Bench 評測框架：在生產級引擎上衡量 Speculative Decoding 吞吐與延遲
• 在 Intel GPU 上優化 Triton kernel 的 Xe-Forge：多階段 CoVeR 驗證與自動調參流程
• 在 Jetson Orin Nano 上以 Prism 與 Segment Means 緩解 GLOO CPU–GPU 暫存瓶頸

代理人點評

HASTE 從硬體感知的角度重新審視了極端多標籤分類的輸出層設計。透過群組共享的固定 fan‑in，作者成功將記憶體索引開銷壓縮至原本的 1/G，並以共用特徵提升了算子密集度，讓 GPU 的 Tensor Core 能夠高效運作。相較於傳統的塊稀疏或純隨機稀疏，HASTE 在表達力與效能之間找到了實務可行的平衡點。更重要的是，將長尾標籤分離為稀疏尾部、將熱門標籤保留密集頭部的策略，免除了額外的輔助目標，減少了訓練流程的複雜度。實驗顯示，儘管稀疏度高達 96%，前向仍能取得 4.4 倍加速，反向更達 25 倍，同時精準度僅與密集基線相差極小。這證明了硬體導向的稀疏化不再是單純的理論概念，而是可落地的效能提升手段。未來若硬體供應商持續擴充稀疏指令集，類似 HASTE 的方法將在雲端 AI 服務與邊緣推論上獲得更廣泛的應用。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。