sparse-attention

深度分析

SymbolicLight V1：LIF 脈衝閘控雙路（Dual‑Path）語言模型的高稀疏性與可擴展性實驗

密集Transformer造成高能耗。SymbolicLightV1以二元LIF脈衝與連續殘差流組成脈衝閘控雙路，採Dual-PathSparseTCAM結合指數衰減長程聚合與脈衝閘控局部注意並配雙語48K分詞。194M模型於3B語料達驗證PPL約8.88–8.93且單元素稀疏度超過89%，顯示稀疏驅動的可行性。