低延遲推論

深度分析

以 AIE 平鋪與資料流優化實現低延遲推論：對比 hls4ml/FPGA 的設計方法

極限邊緣科學應用需在微秒級延遲與高頻率下處理感測器資料，要求權重全在片上且使用極小批次。傳統以 hls4ml 在 FPGA 可程式邏輯（PL）採用空間資料流（spatial dataflow）能達到低延遲，但遇到較大神經網路時會遭遇資源瓶頸與效能急遽下滑。