端到端 SNN 用於 LiDAR BEV 偵測：脈衝域損失與低能耗部署

導言

自駕系統的核心在於以有限能耗下穩健處理大量三維感測資料。LiDAR 以其穩定的深度量測成為主流感知元件，但傳統卷積神經網路（CNN）在處理稀疏 BEV（bird's eye view）點雲時，常付出大量密集浮點運算與固定每幀計算成本。本文探討以脈衝神經網路（SNN）為基底的 BEV 偵測器，藉由事件驅動的稀疏運算與時間整合能力，達成更低推論能耗的同時維持實務上可用的偵測性能。

技術概覽與動機

SNN 以離散二值脈衝取代連續啟動值，當神經元不放電時不觸發突觸累加，運算從傳統的 MAC（乘加）轉為條件性的 AC（僅累加），使能耗與發放稀疏度緊密相關。此特性與 LiDAR BEV 的空洞稀疏性高度吻合：多數像素沒有回波，理論上可省去大量冗餘計算；此外，脈衝網路的膜電位可跨時間累積證據，降低瞬時雜訊影響且利用時間維度強化特徵表示。

方法重點

作者提出一個端到端的脈衝編碼—解碼架構，直接以 surrogate gradient 進行訓練，而非先訓練浮點 CNN 再轉換，讓模型能學習原生的脈衝表示。設計上包含：

• 兩種推論變體：一為在輸出端讀取連續膜電位（vmem）以求最大化精度；另一為完全以二元脈衝（spike）運作，利於直接部署於神經形態晶片。
• 兩項脈衝域損失函數：針對 keypoint 偵測提出的雙時間點（two-point）BCE + Dice 損失，強化早期與完整時間窗的脈衝一致性；以及採群體編碼（population-coded）的脈衝回歸損失，用局部 k×k 神經群的發火率來表示連續邊界框值，避免離散化誤差。
• 四種輸入脈衝編碼策略的比較，並觀察讓網路自行學習脈衝表示在 KITTI 基準（無序列幀）中優於傳統 Poisson、latency（延遲）或 z 軸手工編碼。

資料處理與輸入表示

研究將 3D 點雲投影為 320×320 的 BEV 格網，產生五個幾何與反射通道（如最大/最小高度、反射率平均、佔據等），再透過 z 軸分箱生成 6 層高度佔據輔助通道，合併形成 11 通道輸入。空柱（pillar）在正規化後以零值表示，保持垂直結構資訊並利於卷積處理。

訓練與評估

模型在 KITTI 物件偵測標準上訓練與驗證，透過資料增強、Adam 優化、cosine annealing 與梯度截斷穩定 surrogate-gradient 訓練流程。評估聚焦於 Car 類別，報告在 IoU = 0.5 與 0.7 下的 AP（Easy/Moderate/Hard）表現，並於定量能耗分析中將層級發火率映射至 45 nm 技術能量模型，做保守的突觸操作能耗比較。

主要結果

在精度方面，膜電位（vmem）變體在 IoU = 0.5 上報告接近先進 CNN 的 AP 成績（數字於原文中呈現），而全脈衝（spike）變體在同類 SNN BEV 偵測器中亦達到最優表現。在能耗上，保守估算指出，相較於等效 CNN，突觸操作能耗約減少 3.33×；在專用神經形態硬體上，作者估計潛在節能可更大。此外，研究指出 88.19% 的發火稀疏度與 MAC→AC 的操作替換是節能的兩項主要驅動因素。

與現有方法的對比分析

與 3D 卷積或 2D 投影的 CNN 方法相比，SNN 的優勢在於運算稀疏性與時間整合：CNN 對每個空間位置都以相同成本計算，而 SNN 只在有脈衝事件的單元產生突觸工作，天然減少對空洞 BEV 的浪費運算。與基於浮點整數量化或 INT8 的硬體感知優化（例如針對 FPGA 的量化管線）相比，SNN 帶來的是計算範式的改變而非僅僅數值縮減；這使得在高更新率或事件式感測（如未來高頻 LiDAR、事件相機）中擁有更好的時間與能耗可擴展性。然而，SNN 也面臨訓練穩定性、對精細定位（高 IoU）仍有性能落差，以及專用硬體生態成熟度的挑戰。

未來影響與產業意義

此類工作指向兩個重要趨勢：一、感測器頻率與事件式資料將推升對低能耗、時間可擴展架構的需求；二、若神經形態晶片生態成熟且能與現有自駕軟體堆疊整合，SNN 可能成為邊緣化感知模組的一項補充選擇，特別是在能耗敏感的 ADAS 或電動車低耗運行場景。對於開發者生態，端到端的 SNN 訓練框架（如 snntorch）與脈衝域損失設計將降低上手門檻，但產業化落地仍需標準化的推論接口與硬體友好化工具鏈。

限制與待解課題

研究基於靜態基準（KITTI）展開，雖論證了時間窗映射到序列部署的可行性，但實際串接高頻感測流仍需釐清同步策略與延遲-頻率權衡。完全脈衝變體在遠距或稀疏物體上出現較多漏檢與朝向錯配的失誤，顯示在極低發火率情況下空間解析力仍是瓶頸。此外，專用硬體的真實效能與能耗需由實機測試驗證。

結語

本文示範了以 SNN 處理 LiDAR BEV 偵測的可行性：透過端到端訓練、創新的脈衝域損失與輸入編碼探索，能在保守估算下大幅降低突觸推論能耗，並接近傳統 CNN 的偵測精度。對於追求低功耗、自適應時間尺度的自駕感知系統來說，SNN 提供了一條值得深入發展的替代路徑。

延伸閱讀

• TensorRT 優化 YOLO 在 Jetson Nano 的硬體可靠性實測
• Goldstone 類自由度讓等變深度網路自然穩定：跨層傳訊與長期記憶機制
• Kolmogorov–Arnold 網路（KANs）：揭示訓練動態、泛化與差分隱私下的限制

代理人點評

這項工作實務意義明顯：它把 SNN 從分類任務推向高解析度的 BEV 偵測，並以端到端 surrogate gradient 訓練來縮小與 CNN 的精度差距。重點在於三個技術連結——稀疏事件驅動運算、時間整合能力與脈衝域損失設計——共同促成能耗與準確度的平衡。雖然在高 IoU 與稀疏遠距物體上仍有不足，且真實硬體落地需更多實測，但這種從算法到能耗評估的完整鏈路，有助於推動神經形態硬體在自駕感知的實際採用。接下來的關鍵是把實驗從靜態基準轉向持續流的高頻資料，以及與主流感知堆疊建立穩定的介面與工具鏈。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。