脈衝Transformer

深度分析

NESTformer：在神經形態晶片上實現彈性脈衝Transformer以降低邊緣手勢推論能耗

NESTformer 提出在脈衝神經網路（SNN）與轉換器架構中引入運行時彈性，使同一模型能在不同硬體資源與能耗限制下切換容量而無需重訓。作者在特徵擷取、脈衝自注意力與彈性 MLP 三大模組採用嵌套式權重共享與動態切片策略，並設計貼近神經形態硬體的行列式脈衝注意力運算，避免全域矩陣乘法。