深度分析
CLANE:事件相機+脈衝神經網路在 Intel Loihi 2 上實現端側持續學習的動作辨識
為即時 AR/VR 與機器人應用,系統需在裝置端邊學習新的人類動作且不遺忘既有類別。CLANE 在 Intel Loihi 2 上結合事件相機、脈衝卷積網路與擴展 CLP-SNN,並以時間聚合與定點正規化處理動作片段。整合式部署在晶片上完成推論與在線增量學習。於 THU E‑ACT‑50 評估顯示,在僅小幅準確度下降下,實現顯著能耗與延遲改善。
深度分析
為即時 AR/VR 與機器人應用,系統需在裝置端邊學習新的人類動作且不遺忘既有類別。CLANE 在 Intel Loihi 2 上結合事件相機、脈衝卷積網路與擴展 CLP-SNN,並以時間聚合與定點正規化處理動作片段。整合式部署在晶片上完成推論與在線增量學習。於 THU E‑ACT‑50 評估顯示,在僅小幅準確度下降下,實現顯著能耗與延遲改善。
深度分析
REALM提出一套跨模態視覺編碼器,將事件相機輸出的稀疏非同步事件流映射到已預訓練的RGB基礎模型(如DUNE)的潛在流形。方法在輸入端加入輕量的事件嵌入器,並以LoRA(低秩適配)最小化修改主幹,保留動態場景的語義與幾何先驗。這使得原本專為影像訓練的線性頭與複雜解碼器(例如MASt3R)能夠直接在事件資料上零次應用。