注意力層

深度分析

以 I/O 為導向的 GPU 核心優化：加速圖神經網路的 SpMM、聚合與注意力層

隨著圖神經網路在推薦與詐欺偵測等領域的應用擴大，記憶體存取瓶頸限制效能。研究者以I/O與算術強度為核心，將常見層分為SpMM、聚合與注意力三類，開發減少資料移動的GPU核心。實驗顯示注意力層最高可提速8.5倍，記憶體需求降低至6倍。聚合層可達10倍加速，SpMM層在快取優化下提升至8倍，圖重排僅對高階節點密集情境有顯著效益。